ReuseGR：自适应前缀复用解耦生成式检索
🧭 生成式检索 · 自适应前缀缓存 ★ 深度解读
Xidian University · Alibaba International Digital Commerce Group
7B离线规划共享SID前缀，0.5B在线个性化补全，以38.9%更低延迟达到与7B相当HR@100
📌 工作参考价值（4 点）
- 离线在线解耦的查询缓存：对高频 query，用大模型离线生成 SID 前缀，在线小模型仅完成剩余 token，平均延迟降低近 40%，适合电商搜索广告海量请求。
- ReuseCut 自适应深度选择：基于历史点击覆盖率用 Wilson 下限确定缓存深度，而非固定深度，可提升 HR@100 约 3.17 个百分点，可借鉴到 query 缓存策略。
- Path KD 路径级蒸馏：用 7B 教师的后缀 token 分布 KL 蒸馏 0.5B 学生，只训练 LoRA，提升在线补全质量且训练成本低。
- BudgetCut 分支选择：将 beam 搜索的分支选择建模为策略优化，用边际召回增益作为 OPD teacher 初始化，再用 GRPO 优化整组选择，比简单分数裁剪更有效，可直接用于生成式推荐的 beam pruning。
裁决学习：验证器引导的多智能体电商相关性推理
🧭 多智能体协作相关性判定 ★ 深度解读
Tsinghua Shenzhen International Graduate School, Tsinghua University · Alibaba International Digital Commerce Group
提出 CADRE 框架，用冻结三专家加可训练 Verifier 做选择性辩论，并以成功经验回放 GRPO 优化后蒸馏到轻量学生模型
📌 工作参考价值（4 点）
- 多智能体架构可迁移：将商品属性、用户意图、平台规则拆成独立 expert，共享冻结 LLM backbone，只训练 Verifier 做证据裁决。相比 all-in-one CoT 避免单一上下文冲突，训练成本低，适合相关性审核、广告质量分等复杂判定。
- 选择性辩论控制成本：只在三专家第一轮 label 不全体一致时触发 Verifier 提问和专家修订；一致时直接采用 initial adjudication。离线/在线都能大幅降低多轮交互开销，尤其适合高 QPS 场景。
- Successful-experience replay：把 terminal label 正确的轨迹存 pool，每个 input 保留最多 8 条，Replay-GRPO 时每个 input 加 2 条 replay 轨迹与 8 条 fresh rollouts 混合算 group advantage。可在有限 rollout budget 下稳定 RL、提升长尾难例。该 trick 可复用到 RLHF/多轮 agent 训练。
- CoT latent distillation：多智能体 teacher 生成 CoT，用 frozen BGE-M3 编码成 embedding，学生 mBERT 加 cosine loss + CE，推理时只过学生模型。线上 A/B RPM +1.69%、CTR +0.76%，RS +0.3pp，说明 reasoning signal 蒸馏到轻量交叉编码器是低成本落地路径。
多样教师在线策略蒸馏用于生成式推荐
🧭 生成式推荐 · On-Policy Distillation 消偏 ★ 深度解读
University of Science and Technology of China · National University of Singapore · Alibaba Group
提出 HERO，通过异构教师路由和多样性物品 rollout 缓解生成式推荐中 on-policy distillation 的流行度偏差
📌 工作参考价值（4 点）
- 在生成式推荐做蒸馏时，不要用单一教师，可以按物品流行度分组训练两个专家教师（head/tail），训练样本根据 ground-truth item 的流行度路由到对应教师，能有效缓解头部偏差。
- 在 on-policy 训练中，学生生成的路径容易偏向头部物品，导致冷门 SID 路径很少被监督。可额外将冷门物品的真实 SID 前缀加入蒸馏损失（tail-path GT-KL），提高尾部路径的覆盖率。
- 该方法只更新学生模型，教师冻结，推理时仅用学生，不增加在线推理成本，工程实现简单，适合快速上线验证。
- 评估生成式推荐时不要只看整体 Hit，应同时关注 DTR（需求-曝光比）和 ORR（头部重复推荐占比），避免准确率提升掩盖流行度偏差的加剧。
学生前缀教师适应：让教师适应学生生成前缀以提升在线策略蒸馏
🧭 On-policy 蒸馏·教师前缀适配 ★ 深度解读
Beijing Jiaotong University · Weixin AI, Tencent
在蒸馏前用学生前缀 RLVR 微调教师，提升其对学生在策略轨迹的监督可靠性，无需改变蒸馏目标
📌 工作参考价值（3 点）
- 在模型轻量化部署（如大模型蒸馏到线上小模型）时，除标准蒸馏外，先收集学生 rollout 截断为前缀，用可验证奖励（如最终答案/转化标签正确性）微调教师，使教师能“从学生所在状态继续”，可显著改善 token 级监督质量。实现时只对 continuation 部分做 RL，前缀作为 context，不模仿学生错误。
- 评估教师蒸馏能力应增加前缀条件恢复率（prefix-conditioned recovery accuracy），即给定学生常见前缀下教师正确完成的概率。该指标比独立准确率更能预测蒸馏增益；若教师在前缀上优势几乎消失，标准 OPD 可能停滞。
- 随机截断学生 rollout 作为前缀训练集，无需标注错误位置，是低成本构建教师故障恢复数据的方法。在电商文案/搜索 query 改写等任务中，可用类似方案让教师适应小模型的实际输出，并周期性从最新学生采集前缀以追踪分布漂移。
序数在策略蒸馏：只学教师 Top-K 排序
🧭 LLM 知识蒸馏 · 序数监督
University of Memphis · University of Missouri
O3PD 在策略蒸馏中只复现教师 top-K token 排序，不拟合概率值，对温度不变并在数学推理上全面优于 OPD
📌 工作参考价值（4 点）
- 在蒸馏 LLM 到线上小模型时，不要强制小模型拟合教师 soft probabilities 的绝对数值，尤其当教师温度需要搜索时；改用 top-K 排序监督（如 ListMLE、RankNet）可省去温度调参，训练更稳定。
- 生成式推荐/query 生成的 on-policy 蒸馏中，教师概率值混杂其自身校准与置信度，小容量学生难以复现；只保留序数信息能降低容量要求，让模型专注学习候选 token 的相对好坏，适合电商 query 推荐、广告文案生成、推荐理由生成等场景。
- 若已有 OPD 流水线，可将 loss 替换为对 teacher top-K logits 的 ranking loss，保留 on-policy 生成模式；数学推理任务上的 +2.9 平均分提升说明该 trick 在复杂生成任务上可能有效。
- 对 Agent 策略蒸馏的启示：当学生策略模型容量有限时，教师动作分布的序数偏好可能比概率值更重要，可以在策略优化中借鉴序数监督。
RoFiGR：多模态生成推荐中的粗粒度路由与分层自适应蒸馏
🧭 生成式推荐 · Semantic ID 协同路由 ★ 深度解读
Beijing University of Posts and Telecommunications · Kuaishou Technology
融合协同信号对齐粗粒度 SID 与分层自适应蒸馏，提升多模态生成推荐的粗路由命中与排序
📌 工作参考价值（4 点）
- 在 SID 构建阶段，把 cumulative L1-L2 code vector 与 frozen CF item embedding 做对比对齐，可以将行为相似商品聚到同一粗前缀，同时保持 L1 分支活跃；电商场景可直接复用现有双塔/协同过滤模型，无需在线增加 teacher。
- 序列编码时对 flatten 后的 SID 显式加入 item-distance 与 source-level bias（只加第一层 self-attention），能区分 item 边界和层级来源，参数量仅 498 个标量，适合低延迟线上服务。
- 蒸馏不要 uniform 分配层级权重：L1-L2 保持固定 anchor，L3-L4 用 teacher-student demand 的 bounded adaptive residual 动态分配；demand 只在 teacher 同时超过 student 和 catalog prior 时为正，可自动把监督集中到信息量大的粗路由层。
- 推理中使用多 stream 独立 trie-constrained beam 后 stream-local normalization 再等权融合，能提升候选覆盖；通过 beam slot 预算或 candidate cap 做精度-延迟权衡，线上不调用 teacher。
上下文嵌入：超越单一黄金块的分级蒸馏
🧭 上下文嵌入训练与评测 ★ 深度解读
Perplexity AI · turbopuffer
用查询感知压缩模型蒸馏分级 chunk 相关性替代 gold-chunk 标注，发布 9B/0.6B 模型并刷新多基准 SOTA
📌 工作参考价值（4 点）
- 用 query-aware 压缩模型/reranker 产生 token 级 graded relevance，聚合为任意 chunk 软标签，替代二值 gold chunk；既避免标注绑定分块，又让支撑证据不再被当负样本。电商搜索、长商品详情、合同、政策文档检索可复用这套在线蒸馏链路。
- 文档级检索可采用 multi-vector + MaxSim：每个文档保存多个 chunk embedding，查询-文档相似度用最高 chunk 分数；在 RAG/商品召回中比单向量更细粒度，且不增加 chunk 数存储。
- 评测不要只看单一 gold chunk，应标注 answer groups + evidence groups，并报告 Answer@K、Evidence recall、Tokens to full coverage；这能暴露排序在 aspect coverage 与读取代价上的真实差异。
- 大模型蒸馏小模型保持共享 embedding space，让索引侧用 9B、查询侧用 0.6B，配合 MRL 1024/2048 维度 + int8 量化，可在不同存储/延迟预算下切换。
REGER：用语义ID显式建模物品关系做生成式推荐
🧭 生成式推荐 · Semantic ID 与偏好蒸馏 ★ 深度解读
University of Electronic Science and Technology of China
通过语义邻居生成预训练、SID边界局部注意力与分层偏好蒸馏，显式建模生成式推荐中的物品语义与协同关系
📌 工作参考价值（4 点）
- GSR 语义邻居生成预训练可借鉴：对电商/长尾 item，在 GR 训练前先让 encoder-decoder 从源 item SID 生成 top-K 语义近邻 SID，使 token embedding 与 backbone 继承内容相似性，适合冷启动物品和稀疏交互场景。
- ITSA 的混合注意力值得落地：在历史编码器里保留一部分 global head，同时增加 item-local head，只允许当前 item 与前一 item 的完整 SID 之间 attention，显式建模相邻 item 的定向转移，不增加参数，可迁移到现有 T5/Transformer 编码器。
- HCPD 蒸馏很实用：用线上判别式模型（如双塔或 SASRec）的偏好分，在 SID 前缀树每个合法 next token 上构造条件分布，对 ground-truth 前缀做 KL 蒸馏，能利用候选 item 相对排序信息，比 CE 单点监督更好；训练开销低，推理零额外成本。
- 工程注意点：HCPD 需要在每个 prefix 对 legal tokens 重归一化，避免 full vocabulary 概率干扰；蒸馏权重 λ 与 local/global head 比例建议按数据集调参，Beauty/Sports 约 0.8，Toys 约 1.0。
SLIDE：搜索到列表蒸馏实现单次贪心生成式检索
🧭 生成式检索 · 列表蒸馏 ★ 深度解读
Zhejiang University · Taobao & Tmall Group of Alibaba
将离线item级beam search结果按分数拼接为列表蒸馏目标，训练学生单次贪心生成Top-K，以低成本逼近或超越线上beam search检索
📌 工作参考价值（4 点）
- 线上部署用单次贪心解码替代 item-level beam search：蒸馏后 0.5B 学生可逼近或超越同尺寸直接训练模型的 beam search，服务质量不变但推理路径更简单、延迟更低；teacher 仅离线构造数据，可无限扩容量。
- 蒸馏目标顺序不能乱：保留 teacher beam-score 降序对头部 HR 和 NDCG 至关重要；随机打乱会明显降低头部检索质量。如果自建列表蒸馏数据，不要做去重/有效性过滤再拼接，直接按固定长度 SID 块拼接并保持顺序。
- 目标长度与评价深度对齐：当 HR@K 为核心指标时，蒸馏目标取 K 个 teacher 候选即可，过长会显著增加离线 beam search 成本而不提升对应截断指标。
- 列表级 RL 后续优化空间大：在 SLIDE 基础上做列表级 RL，相对 SFT 提升可达 3.46-7.67%，远高于 item 级 RL 的 0.59-1.17%；可继续叠加 relevance reward 和 LLM-as-judge 自洽性奖励进一步提升相关性。
分离思考与拼写的高效生成式推荐
🧭 生成式推荐 · Semantic ID 推理优化 ★ 深度解读
将生成式推荐中 backbone 的历史建模与 SID 逐码生成解耦，由轻量 decoder 完成 beam search，实现 3-8 倍吞吐提升且精度不降
📌 工作参考价值（8 点）
- 架构选择：重 encoder + 轻 decoder 分离 serving
- 在生成式推荐（Semantic ID）线上推理中，让大 backbone 只跑一次 prefill 输出固定大小的 next-item concept（如 1KiB），beam search 全部下沉到 2 层 256 宽的轻量 decoder。concept 可作为 per-user state 预计算并缓存，在线只有轻 decoder 参与 decode，避免大模型反复处理 O(BK) 个 decode token。
- 输入侧融合 item SID tokens 降低 prefill
- 用 MLP 把每个 item 的 K 个 code embedding 融合成单个 token，历史长度从 TK 降到 T；训练时通过 block-causal mask 为每个位置提供下一 item 的 gold prefix targets，实现 dense training，一次前向即可监督所有 transitions。
- 轻 decoder 训练用教师分布做 label smoothing
- 将 full-backbone teacher 在 gold prefix 上的 next-code 分布与 one-hot 混合（α 为 KD 权重），作为 decoder 的 CE 目标。在小数据集上可带来 16-23% NDCG@10 提升，且 teacher 仅训练时使用，不增加 serving 成本。
- 复购/重复消费场景加 history pointer
- 对音乐、视频、电商复购等 repeat-heavy 领域，基于 backbone last state 对历史 item 的 attention 构造 pointer，与生成分布混合（gate 由 last state 学习）。在 Yambda 数据集上，pointer 将 Deco NDCG@10 从 0.079 提升到 0.171，几乎追平 FlatGR。
跨 item 与 code 空间的并行生成式推荐知识蒸馏
🧭 生成式推荐 · 知识蒸馏跨 item/code 空间 ★ 深度解读
The Hong Kong University of Science and Technology · University of Science and Technology of China
用 item 空间分布匹配和 code 边际匹配两个蒸馏目标，把序列模型的软分布迁移到并行语义 ID 推荐器
📌 工作参考价值（4 点）
- 已有并行 SID 生成式召回/排序模型（如 RPG、AsymRec）只吃 hard label，可以低成本引入预训练 SASRec 之类的 item 级 teacher 做软标签蒸馏，线上推理不增加 teacher，只换训练目标。IDM 提 Recall，CMM 提 NDCG，可按业务指标侧重选择。
- 跨 space 投影实现简单：用固定 item-to-code 分配矩阵 M_h，正向 M_h 聚合 student 各 head logits 成 item 分数，反向 M_h^T 聚合 teacher item probs 成每个 code position 的 marginal，代码量小、可复用。
- 训练时注意 loss 尺度：hard label 和蒸馏 loss 梯度范数差异大，先用若干 batch 计算两者梯度 L2 范数比的中位数做系数校准，再加线性 ramp 逐步引入蒸馏，能避免训练初期的破坏性梯度。
- 若要同时拿召回和排序收益，建议分别训练 IDM 和 CMM 两个学生，线上做 score-level fusion（如 0.5/0.5），比 joint training 更稳；teacher temperature 用原始分布即可，不要提前做温度平滑或锐化。
何时跟随教师：基于优势的在线策略蒸馏
🧭 LLM 在线蒸馏 · 优势加权
University of Pennsylvania · University of Southern California
AOPD 用学生优势加权教师动作，仅靠标准 rollout 和终局奖励即可无偏估计，提升在线蒸馏效率与效果
📌 工作参考价值（4 点）
- 在生成式推荐/搜索场景做 teacher-student 蒸馏时，不要在所有状态都强行跟随教师；可以用 advantage-weighted 监督，只强化对当前 student 有益的教师动作，减少有害模仿。
- 工程实现上，AOPD 只需要保存 student rollout 的 logprob 和 terminal reward，再用 teacher/student 概率比做 importance weighting 即可，无需额外 rollout 或 reward model，轻量且易接入现有 on-policy 训练流程。
- 若业务中已有用户点击/转化/成交等终局奖励，可把蒸馏目标从 token-level SFT 换成 AOPD 形式，使教师监督与业务回报对齐，尤其适用于 query 推荐、push 文案、商品描述生成等 LLM 应用。
- 自蒸馏设置下也能用同一套优势加权逻辑，从历史高质量策略或大模型生成样本中蒸馏，同时避免拖累当前学生已擅长的状态。
OneChord：蒸馏所排名的融合分布，单 pass 完成生成式推荐
🧭 生成式推荐 · Semantic ID 融合蒸馏 ★ 深度解读
University of Chinese Academy of Sciences
学习 SID 与 item 匹配的 catalog 归一化融合分布，并通过蒸馏将 refined 排序迁移到 one-pass 推理，平均 NDCG@5 提升 7.12%，推理更快
📌 工作参考价值（4 点）
- 在生成式召回/精排融合场景，把最终线上融合打分（如 SID 概率 + 双塔相似度）作为唯一训练和蒸馏目标，而不是分别训练后手工调权；学一个全局混合系数 α，实验显示比固定 0.5 融合在所有数据集都有提升，且对 α 不敏感，业务可安全上线。
- 蒸馏时保持「先 catalog 归一化，再融合，最后才 candidate conditioning」的顺序，否则两分支在子集上的相对权重会发生偏移，导致排序反转；工程实现上先在完整合法库算 normalizer，再取候选子集。
- 用 frozen denoiser 从 one-pass 学生生成部分可见的合法 SID 状态，学生自己评估这些状态得到 refined 目标，再和直接预测在 shared hard candidates（label + 100 negatives + 双方 top-32）上做温度 KL 蒸馏；推理仍是单次前向，成本不增。
- 通过共享 decoder 同时产出 SID 概率和 item 相似度，用 stop-gradient 隔离 catalog 侧 embedding，缓存 item 向量，serving 只需一次 encoder + 一次 parallel decoder + catalog scoring，适合低延迟线上；相比最快 baseline 还能快 4–18%。
超越答案：学生条件化的推理轨迹构建与蒸馏
🧭 推理蒸馏 · 学生条件轨迹构建
Stony Brook University · Meta AI
提出 ReDiST，以学生自身尝试为起点构建并筛选推理轨迹，提升推理蒸馏效果
📌 工作参考价值（4 点）
- 可借鉴 ReDiST 的“学生条件化”轨迹筛选：在微调推荐/Agent 推理模型时，不要直接用统一 CoT 数据，而是用目标小模型自身的失败尝试作为种子，再结合证据与正确答案改写，能提升学习效率。
- 用 frozen “student-matched reader” 对候选轨迹打分：以 answer recovery 和 verified-answer probability 排序，过滤掉目标模型难以模仿或信息冗余的轨迹；可用于电商多跳问答、广告归因解释等数据清洗。
- 蒸馏时加 auxiliary answer loss 平衡中间推理与最终答案监督，避免小模型只学会模仿冗长/不适配的推理格式，却答不对。
- 评估轨迹教学价值时，应在源任务与跨分布 benchmark 同时验证；不同监督配方的排名可能反转，避免单看源域指标选定方案。
自适应稀疏监督下的LLM稀疏检索对齐
🧭 LLM稀疏召回 · 自适应稀疏对齐 ★ 深度解读
Soochow University
用动态α-truncation对齐SPLADE词表，1B LLM稀疏检索在L0=182时接近Lion-sp效果且延迟降11倍
📌 工作参考价值（4 点）
- 在搜索/广告召回中若要用LLM做稀疏召回，可复用「投影到SPLADE词表 + max-pooling + log(1+ReLU)」结构，用1B模型+LoRA即可与倒排索引兼容，避免在线生成式开销
- 训练阶段用SPLADE作为anchor，对每个输入按累积激活质量动态选取监督support（α-truncation），比固定Top-K更稳：在消融中MRR@10从α-mean的0.303提升到0.322
- 两阶段训练值得借鉴：先做稀疏对齐预训练，再做对比学习+KL蒸馏+FLOPS正则，可让索引条目减少40.7%，同时MRR@10从0.3619提升到0.3998
- 推理时无需额外truncation，只靠训练获得的稀疏性；对query和document分别设置FLOPS正则系数，可把L0从1170压到182，避免83GB索引和>1s查询延迟
桥接拓扑鸿沟：语义先验驱动的双分支图蒸馏用于鲁棒冷启动推荐
🧭 冷启动推荐 · 图知识蒸馏
The Hong Kong University of Science and Technology (Guangzhou)
双分支图知识蒸馏：教师端语义先验重塑流形，学生端余弦蒸馏跨模态对齐，冷启动显著提升
📌 工作参考价值（4 点）
- 冷启动 item 的多模态语义特征不要直接拼进协同图或共享空间，建议解耦两阶段训练：先训练协同教师并用语义 prior 做平滑/初始化，再蒸馏到语义学生，避免破坏已有 ID 协同信号。
- 蒸馏损失用余弦相似度替代 MSE/点积，保持方向对齐、不强制匹配模长，更适合跨模态 embedding 迁移，且可减少对热物品向量尺度的扰动。
- 线上全局检索时，对冷启动物品向量做 dynamic norm reconstruction，按冷/暖物品分桶校准模长，避免语义分支模长不一致导致内积排序偏差；可直接复用到新品召回。
- 电商新品/广告冷启动可把“新品语义描述或图像”作为学生分支，老品协同教师蒸馏，发布即获得可检索表示；需评估两阶段训练的离线成本与更新频率。
面向小语言模型工具学习的教师引导策略优化
🧭 Agent 工具学习 · 双向 KL 约束 ★ 深度解读
Nanjing University of Aeronautics and Astronautics · 360 Security Capability Center · Nanjing University · Tongji University · Shanghai Jiao Tong University
提出 SeTPO，在 GRPO 中按奖励门控注入教师 token 级反向 KL 信号，并用教师演示前向 KL 保留结构，提升 SLM 工具调用
📌 工作参考价值（4 点）
- 在 RL 训练 SLM 工具调用/函数调用时，不要对所有轨迹都上教师蒸馏；按任务奖励门控只对低奖励轨迹注入教师 token 级修正（用 log p_student - log p_teacher 修正 GRPO advantage），可保留高奖励轨迹的纯 task-driven 更新，避免过度约束。
- 持续保留一个小的 auxiliary SFT/演示损失（如权重 0.1）在 RL 过程中：用冻结教师生成的完整参考轨迹做交叉熵，能稳定输出格式（<tool_call> 等结构），防止 reward 上升但格式坍塌；这对生产环境结构化输出尤其重要。
- 教师模型容量不是越大越好：论文显示 0.5B 学生配 1.5B 教师优于 3B/7B；迁移能力与容量差距存在倒 U。业务选教师可优先选与学生同架构、容量适中的模型，降低分布差异。
- 若工具/API 场景有确定性 checker，可把 composite reward 设为格式奖励 + 正确性奖励（工具名/参数名/参数值 Jaccard+exact match），配合 γ 接近最大奖励的门控，让低奖励轨迹获得教师修复信号。
从大规模教师到高效多模态学生：搜索相关性预测蒸馏
🧭 搜索相关性预测 · LLM蒸馏多模态学生 ★ 深度解读
eBay · Tooploox
用GPT-4.1当裁判生成48万条相关性标签，蒸馏到Gemma-3多模态小模型，精度接近教师、吞吐大幅提升
📌 工作参考价值（4 点）
- 用高能力闭源LLM作为标注器（LLM-as-a-Judge）批量生成query-item相关性标签（含解释），再用这些数据SFT小模型。如果业务有大量未标注query-item对，可以先小规模人工标注校准prompt，再放大生成训练集，成本远低于人工标注。
- 蒸馏时保留“先给标签再给解释”的respond-then-explain格式，并让生成解释参与训练，能显著提升小模型在难样本/边缘类上的F1（Test1 F1从68.32提升到76.19）；业务落地可以只输出标签、按需输出解释，推理成本分离。
- 多模态学生模型用更低分辨率图像（300px）训练即可接近高分辨率，但提升到900px在难样本上有1-2点收益且不影响Gemma-3推理延迟（内部统一256视觉token）。电商场景商品图往往很大，不必过度压缩。
- FP8量化在单卡H100上无解释吞吐从194 req/s提升到271 req/s（+39%），精度几乎不降，适合高吞吐在线相关性服务；选型上12B模型在精度/吞吐Pareto前沿优于27B。
DisaggKD：通过师生分离与融合损失实现高效知识蒸馏
🧭 知识蒸馏训练效率优化
The University of Tokyo · RIKEN AIP · SB Intuitions Corp.
提出教师-学生分离的KD框架，通过fused loss和prefetch ring突破显存限制，匹配同布局损失并提速
📌 工作参考价值（4 点）
- 在资源受限下做LLM蒸馏（例如蒸馏通用大模型到电商领域小模型用于query理解或排序），采用教师-学生分离部署，教师只前向，学生负责训练，避免同一GPU同时存放两套权重和优化器状态。
- 实现KD loss时，若词表过大，不必显式构造完整logits张量，可通过行窗口和词表分片（vocabulary shards）的融合kernel精确计算loss，既省显存又保持数值一致，适合大词表场景（如搜索词预测、文案生成）。
- 在跨节点流水线并行训练中引入prefetch ring协调生产者和训练者，可掩盖通信延迟，提高吞吐，对需要跨节点数据转移的架构有借鉴意义。
- 使用闭式内存和流量模型提前判断不同布局（colocated vs 分离）的可行性，避免OOM，可在设计训练方案时快速评估，节省试错成本。
面向大语言模型的通用文本教学
🧭 LLM 文本知识蒸馏 · Primer ★ 深度解读
Westlake University
提出 UTT，无需参数更新，将 Teacher-Student 知识差距蒸馏为可迁移的自然语言 Primer，显著提升推理与代码生成性能
📌 工作参考价值（4 点）
- 业务中有强模型（如 GPT-4/Claude）和弱模型（如开源小模型或 API 便宜模型）时，可借鉴 UTT 对困难 query/商品/广告创意做配对评估，自动生成可复用 prompt/Primer，无需微调弱模型即可提升效果，尤其适合只能调用 API 的模型。
- 知识差距选择比随机选择更有效：先找出教师答对、学生答错的样本，再让教师针对性生成教学指令和演示，比直接让教师总结全量数据更利于迁移。可用于构建困难样本集或优化 few-shot 示例。
- 验证门控机制实用：每次更新 prompt/Primer 前，用小批量验证集确认不降低学生已有能力，避免自动 prompt 优化或 Agent 指令库更新时出现退化。
- 跨模型迁移性提示：同一个文本提示可在不同版本/不同家族的模型间复用，适用于多模型路由、灰度发布或模型升级时的知识继承。
On-Policy 蒸馏教技能不教知识
🧭 On-policy 蒸馏的知识/技能迁移机制 ★ 深度解读
The Hong Kong University of Science and Technology
reverse-KL on-policy 蒸馏主要迁移组合推理技能，几乎不迁移事实知识；改用 forward KL 才能迁移新事实
📌 工作参考价值（4 点）
- 如果目的是给推荐/搜索/Agent 的轻量 LLM 注入新事实（新品知识、活动规则、2026 新实体、query 改写约束），别只靠 reverse-KL OPD；优先 teacher-demo forward KL 或 SFT，否则学生仍用旧记忆生成错误答案。
- 如果目的是提升多跳推理/规划（商品属性组合、优惠规则计算、对话策略树状拆分），可用 student rollout + reverse KL 的 OPD，重点放在组合执行，不引入新事实。
- 混合目标如 ToDi 可同时获得事实与组合提升，在蒸馏预算有限时可替代单纯 reverse KL；GKD/EOPD 仍偏技能迁移。
- 事实与技能更新在 LoRA 子空间近似正交：事实更新集中在末层，组合技能集中在浅/中层。可为知识更新和推理能力使用独立 LoRA 分支或分层学习率，减少互相干扰。
基于负策略轨迹的在线蒸馏
🧭 LLM 训练 · 在线蒸馏负样本 ★ 深度解读
NAVER AI Lab
在 OPD 的 rollout 阶段混入低能力负策略轨迹，不改变奖励公式即可注入显式负信号，显著提升推理性能。
📌 工作参考价值（4 点）
- 在 LLM 微调/蒸馏中引入弱模型负样本 rollout：如果业务中有同模型系的低能力版本（如小参数量的 base 或旧版模型），可以将其作为负策略，按一定比例混入 on-policy 训练 batch，不动 reward 即可让模型远离低质量输出，相当于给 OPD 加了一个“反向参考”。
- 负策略 rollout 可以预生成并缓存复用：论文显示纯负策略 rollout（α=1）时，训练时间从 9h19m 降到 3h34m（排除预生成），这对落地 LLM 蒸馏训练的成本优化很实用。
- 负样本选择有讲究：不是随便用差模型，而是同模型家族、能力明显低于 student 的版本；简单加大 temperature、persona prompt 或 drop layer 等降级 student 的方法也能带来少量提升，但远不如单独负策略（+3.4 vs +0.9~1.0 avg）。
- 可复用分析指标 NSP/NOR 做训练调试：NSP 衡量抑制是否集中在负策略偏好 token 上，NOR 衡量学生与负策略的重叠是否下降；二者与最终性能正相关，可用于监控负信号是否按预期生效。
从规则到神经图：可扩展结构化预测用于专利现有技术检索
🧭 信息检索 · 图结构化预测
IPRally Technologies Oy
用局部 biaffine attention 构建专利发明图，蒸馏规则解析器，实现长文档可扩展图检索
📌 工作参考价值（4 点）
- 长商品描述/详情页常被截断，可借鉴局部 biaffine attention 构建商品属性/关系图，用图表示替代截断；短序列训练、长序列部署，适合线上低延迟。
- 规则解析器（类目、属性、标签体系）脆弱且维护成本高，可仿照知识蒸馏：用已有规则系统生成百万级标注，训练轻量神经解析器，通常能超越规则模型且推理成本更低。
- 对超长文档检索，图结构 + Graph Transformer 比直接 dense 向量在全文档上更有效，尤其查询与文档长度差异大时；商品详情页可构建轻量图做相关性匹配。
- 滑动窗口限制 pair scoring 是简单有效的 O(n²)→O(n·w) 优化，对任何需长序列实体/关系抽取的模块都有参考，且权重共享使短序列训练直接部署到长序列，无需重训。
残差轨迹蒸馏用于生成式检索
🧭 生成式检索 · Semantic ID · 残差蒸馏 ★ 深度解读
Beihang University · Meituan
把冻结RQ索引器的残差码本偏好蒸馏进SID解码状态，保留检索索引与推理不变
📌 工作参考价值（4 点）
- 如果已经在用 RQ Semantic ID 做生成式召回/推荐，可以把冻结的 RQ indexer 当成现成 teacher：沿存储 SID 重建残差，用残差到码本的距离构造 soft target，KL 对齐 SID 解码状态；训练只加几个投影头，推理时全部移除，beam search 和索引完全不变。
- 多 horizon future 监督值得复用：让早期解码状态同时预测后续几层码本偏好，类似 multi-token prediction，但目标是码本分布而非 hard token；这能提前注入后续结构，缓解 beam search 早期剪掉正确 item 的情况，电商商品检索里尤其适合互补/长尾商品。
- 必须做 collision-aware 修正：线上 SID 通常经过去重/冲突解决，直接拿原始 RQ 残差会与最终索引不一致。实现时沿最终存储 SID 重建残差路径，并对 soft target 做最小 margin 插值，保证存储 code 仍是最高概率；这是工程能否落地的关键细节。
- 控制实验显示 shuffled teacher、非目标对应或全局 codebook-only 都会掉点，说明 teacher 必须保留 item 级对应关系，不能只做通用码本统计蒸馏；在生成式推荐里 TIGER 类骨干同样可接入，B-Shop/Yelp 上提升更明显。
更好的监督在邻近：邻域在线策略自蒸馏
🧭 LLM 推理训练 · 自蒸馏
The Chinese University of Hong Kong, Shenzhen · Meituan, LongCat Team · Peking University · University of Toronto
用局部参数扰动构建专家池并按状态路由，为在线自蒸馏提供更优监督，平均提升 1.67~2.75 点
📌 工作参考价值（4 点）
- 训练电商/Agent 场景下的 LLM 推理型任务（query 改写、推荐解释、工具调用规划）时，可借鉴 N-OPSD：保留多个邻近参数的冻结专家，按状态路由提供多样但参考对齐的监督，避免单一 teacher 覆盖不足。
- 离线专家池构建的贪心选择准则（filtered reference-token gains 超过池当前最佳）可作为通用监督选择指标：只保留能在不同前缀位置提供增量校正的专家，压缩池规模、降低训练成本。
- 路由时分离 anchor direction 与 support level（MaxPeak 选 token，quantile 选专家）值得借鉴到多策略/多专家生成式推荐：不要只选置信度最高（highest peak）的策略，而要选 top token 一致且分布支撑更稳的专家作为训练目标。
- 用 clipped forward-KL 从专家完整 next-token 分布学习，比只学 hard label 更平滑，适合生成式推荐中 Semantic ID 或多 token 决策序列的蒸馏；推理只部署学生，不增加线上成本。
ReSAIL：缓解迭代智能体自蒸馏性能崩溃
🧭 Agent 自蒸馏训练稳定化
Gaoling School of Artificial Intelligence, Renmin University of China
提出 ReSAIL 插件，通过选择特权信息影响大的步骤蒸馏并保持特权条件分布，平均提升 22.5% 成功率
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 的迭代自蒸馏训练中，若教师有特权信息（如用户真实意图、后续转化、库存），避免直接用线上部署轨迹蒸馏，可借鉴 ReSAIL：选择 PI 影响大的步骤蒸馏，并用教师 PI 条件输出作为正则，稳定多轮迭代。
- 离线数据选择可用 sensitivity 指标：计算 teacher 在有无 PI 下输出分布差异，筛选差异大的交互步骤，提升数据效率，减少无效样本。
- 工程实现上，在学生训练 loss 中加入与冻结 teacher 的 KL 散度（针对 PI 条件分布），即使部署时无 PI 也能保持隐式行为一致性，防止下一轮 teacher 退化。
- 对搜索推荐中的 query 改写/推荐解释 Agent，若使用 oracle 信息（点击/购买标签）自蒸馏，可沿用“保留特权行为”思想，避免多轮迭代后策略漂移。
小模型更优负样本：偏好蒸馏的缩放规律
🧭 偏好蒸馏 · 负样本构造与缩放 ★ 深度解读
LinkedIn · University of California, Davis · Arizona State University · Clemson University · Pennsylvania State University
在偏好蒸馏中，用更小的冻结模型生成 rejected 响应，比学生自己生成的负样本效果更好且计算成本更低
📌 工作参考价值（4 点）
- 在偏好训练/对比学习数据构造中，不要默认使用同一模型的失败样本作为负样本；尝试用更小的冻结模型生成负样本，可以在降低推理成本的同时提升学生模型效果，尤其在 SeqKD 初始化后。
- 负样本筛选可借鉴 reference likelihood 指标：在固定候选池内选择参考策略下低似然的样本，能获得更强的对比信号，对电商推荐中的 LLM 生成式排序或文案生成同样适用。
- 混合不同来源的负样本可以线性控制训练效果，实际工程中可通过调节小模型负样本占比来平衡成本和收益，无需完全替换。
- 负样本的部分收益来自任务相关的 token 结构而非 prompt 特定错误，因此可将负样本重新分配给其他 prompt 或做 token 级扰动，用于数据增强，提升负样本利用率。
生成式检索器学习语义ID时如何保留语言生成能力
🧭 生成式检索的语义ID防遗忘训练 ★ 深度解读
University of Glasgow · Brave
SpeakGR用on-policy蒸馏的正向KL正则，在SID检索微调中保留LLM文本分布，语言drift降低81-94%且检索不降
📌 工作参考价值（4 点）
- 在电商/搜索的生成式召回（如物品Semantic ID或文档SID）中，仅用SID CE微调会让LLM的对话/解释能力迅速崩溃：PPL从31.69涨到53966，Top-1一致性从100%掉到0.13%。因此如果系统还需要模型回答追问、解释结果或澄清query，必须在SID阶段加语言保持损失。
- 可复用轻量正则：准备一个prompt池（WikiText自然前缀 + 指令/QA类），每步约6条；学生以文本-only rollout生成前缀（mask SID logits，temperature 0.8/top-p 0.9/top-k 20），冻结base模型给出同前缀next-token分布，最小化正向KL（重新归一化到原始词表）。比offline replay更稳定，几乎不增加额外模型。
- 三阶段训练（doc→SID、伪query→SID、真实query→SID）里，语言正则可在Stage1用λ0=0.1并逐步加强；若不想手动调权，可用Adaptive SpeakGR：对preservation KL做EMA，λ按clip(K/ε−1)乘性更新，ε取0.5–2较稳，过严的ε反而双输。
- 工程上要单独统计SID mass：SFT-only在文本上下文里有4–26%概率分配给SID token，而SpeakGR可降到0.2–0.6%；保持前向KL的同时需mask SID logits，避免评估语言时SID泄漏。
信息近端自蒸馏用于LLM持续学习
🧭 LLM 持续学习 · 信息约束自蒸馏
Georgia Institute of Technology · Imperial College London · Politecnico di Torino · UCL Centre for AI
提出iSDFT将教师视为预算信息源，在每步选择满足信息约束的最近分布，提升LLM持续学习中稳定性与可塑性的平衡
📌 工作参考价值（4 点）
- 在电商/推荐场景中，当用新数据微调LLM（如用于query理解、内容生成、推荐理由）时，可采用iSDFT的“信息预算”思想：对每个token动态决定从教师（新任务模型）吸收多少信息，避免新策略完全覆盖旧能力，尤其适合需要持续更新但必须维持基线性能的线上系统。
- 锚定冻结基础模型（frozen base policy）的做法可作为一个轻量正则化项加入现有微调损失，实现简单且可稳定训练，有助于在迭代推荐模型时控制累积漂移，减少对旧用户行为模式的遗忘。
- 闭合形式的指数目标（exponential tilting）无需额外优化循环，工程实现成本低，可直接用于LLM4Rec的在线学习或定期更新，平衡稳定性和塑性。
- 该方法对多任务、多模态的推荐系统持续学习有借鉴意义：可以按任务重要度设置不同的教师信息约束，实现可控的旧知识保留和新知识注入。
超越无压缩：RAG 软上下文压缩的两阶段训练配方
🧭 RAG 软上下文压缩 · 蒸馏+RL 训练
Shandong University · Bloomberg · Leiden University
用正确样本蒸馏 + 失败样本强化学习两阶段训练，让 16 倍压缩的 RAG 软上下文效果反超无压缩基线
📌 工作参考价值（4 点）
- 若在商品知识问答、客服 RAG、广告文案检索增强等场景用 LLM 消费长文档，可尝试 soft context compression：把 top-N 商品详情/用户评价/知识条目编码成少量 embedding，替代原始文本，换取 4×–24× 的推理提速。
- 训练配方的可迁移点在于：蒸馏时只用教师 RAG 回答正确的样本，避免把无压缩模型的错误模式蒸馏进压缩模型；然后专门在教师失败的 query 上做 RL，让压缩模型学习更适配压缩表示的计算路径，而不是只模仿教师上限。
- 对推荐/搜索中的 LLM ranker 或生成式 item 描述，若需压缩长用户行为序列或 item 文本，可以用类似两阶段：先用正确输出 warm-start，再对 hard case 做策略探索，可能比直接 SFT 或全量蒸馏更稳。
- 评估时值得像论文一样扫不同 retrieval depth（top-5 到 top-30），确认压缩方案在长上下文下是否仍保持收益，而不是只在单点设置上调优。
hLLM：单次前向解码生成式重排
🧭 生成式重排 · 匈牙利解码 ★ 深度解读
Meta Platforms, Inc.
用匈牙利算法从 LLM 隐状态矩阵直接解出排序序数，以 O(1) 次前向替代逐 token 自回归解码，实现 28ms 近无损重排
📌 工作参考价值（4 点）
- 重排场景可将 LLM 输出从「逐 token 生成序数」改为「prefill 隐状态 → N×K 分数矩阵 → 匈牙利/LAPJV 求解」，推理从 O(N·T) 降为 1 次前向；N≤50 时 solver 在 CPU 约 0.008ms，适合广告/电商候选集实时重排。
- 训练用离线 teacher 蒸馏：大模型对每个 slate 生成完整排列，学生用 Sinkhorn 交叉熵拟合；无需在线 rollout，避免 exposure bias，蒸馏工程成本低。
- 自注意力 scoring head 表现最好：candidate 表示过 2 层 self-attention 再投影到 K 个位置，优于线性 probe 和 slot-query；LoRA 适配 backbone 后优势更明显。
- 去除 teacher 的 reasoning trace 对排序质量几乎无损失，可直接输出序数，省去大量解码 token；LoRA 是吸收排列蒸馏信号的关键。
Repo-To-Skill：从 GitHub 仓库蒸馏 AI4AI 技能
🧭 Agent 技能蒸馏与知识复用
Beijing Academy of Artificial Intelligence · University of Science and Technology of China · Renmin University of China · Hong Kong Polytechnic University
提出 DisCo 与 AREX-Skill 库，将 GitHub 仓库蒸馏为可复用技能，显著提升研究 Agent 表现
📌 工作参考价值（4 点）
- 把推荐/搜索团队常用 ML 仓库、内部训练/推理框架、特征工程、评估脚本等拆成 compact, verified skill 卡（方法族/代码用法/验证检查），挂到 rec-agent 的库中，避免每次任务重读长 repo 或浪费 trial。
- 借鉴 task-agnostic + task-oriented 双轨蒸馏：先离线从 1k 个仓库沉淀通用技能，再按具体推荐/搜索任务（如“多目标精排调参”）定向蒸馏小技能；可显著降低 agent 上下文长度和对长 repo 的依赖。
- 技能组织成 capability families（类似 taxonomy）后，可用检索式挂载，只把 relevant skills 注入 prompt，而不是把整个 repo 塞进 KV cache；这个模式对商品推荐、Query 改写、广告文案生成的 LLM/Agent 工具调用同样适用。
- 验证/评估：每个 skill 需通过可执行测试才入库，保证“知道方法”与“能跑通”结合；在业务 agent 平台里建议引入同样的 skill 验证环节，减少错误工具调用和不可复现实验。
中训练阶段知识蒸馏偏向推理，损害事实召回
🧭 LLM 知识蒸馏 · mid-training 优化 ★ 深度解读
Meta AI · University of Washington · Princeton University
发现 mid-training 中标准 KD 产生推理-事实召回权衡，提出基于 teacher entropy 的 Switch Distillation 做 token 路由以保住推理增益和事实召回
📌 工作参考价值（4 点）
- 在业务基座 LLM 继续预训练/领域适配时，若用大模型做 logit 蒸馏，不要全 token 均匀蒸馏。按 teacher 预测熵做 token-level 路由：低熵 token（数学、代码、指令模板、强过程性推理）走 reverse KL 蒸馏，高熵 token（商品事实、知识条目、长尾搜索词）保留 CE 或 ground-truth label，降低对事实型知识获取的抑制。
- 将能力评估拆成 Reasoning / Factual Recall / Knowledge & Commonsense，分别监控，而不是只看平均分；尤其做搜索/推荐模型蒸馏时，事实召回（如商品属性、SPU 知识）不能牺牲。
- 工程实现成本低：只需在已有 teacher logits 上多算 entropy 和 batch 内分位数，不需要额外模型前向或参数，可即插即用；q=20% 可作为默认值。
- 如果业务场景是 Agent 能力蒸馏或 query 改写/生成，建议优先选择与 student 容量差距较小的教师（如 7B 教师优于 13B），并在 post-training 后重新评估，不能只看 mid-training 指标。
PailitaoGR：生成式图像检索中的潜在以图思考方法
🧭 生成式检索 · Semantic ID · 视觉商品搜索 ★ 深度解读
Alibaba Group
在原始查询图上内化目标聚焦与选择性辅助证据利用，实现不裁剪缩放与不 OCR 阅读，生成式检索平均提升 13.8%
📌 工作参考价值（4 点）
- 在拍立淘类图像检索/生成式推荐中，可借鉴“能力内化”架构：用轻量 Target Token Scoring + Token-level Residual Modulation 对 visual token 做目标加权，不改变主干，推理零额外延迟；把显式 grounding/crop/OCR 能力蒸馏进单一模型，避免多步工具调用。
- On-policy distillation 对自回归 SID 生成很有价值：教师和学生共享学生自己采样的 prefix，蒸馏 top-K 候选分布，比 ground-truth prefix 蒸馏更贴近推理时的错误前缀场景，能降低 train-inference mismatch。
- 利用 SID 的 coarse-to-fine 结构设计 attention guidance：fine/medium token 用 ROT mask 惩罚目标框外注意力，coarse token 保持高熵广注意；这一思路可迁移到任何 hierarchical Semantic ID 的商品检索，提高解码对主体商品的判别性。
- 辅助信息（如 OCR 文本、品牌标）引入要加 utility/accessibility 双门控：只有当 OCR 教师相对 Crop 教师有增益且学生自己也能利用该信号时才 transfer，否则 suppress/skip；能避免无关水印或背景文字误导，适合电商 query 图中常见噪声。
通过倒置非对称融合缓解多模态学习中的强模态坍缩
🧭 多模态融合中强模态坍缩抑制
Imperial College London · California Polytechnic State University San Luis Obispo
提出 Inverted Asymmetric Fusion，保留强模态通路并以弱模态蒸馏锚定融合，避免强模态退化
📌 工作参考价值（4 点）
- 多模态推荐/搜索中常出现文本、图像、行为等信号不均衡，直接对称融合可能损害主模态表征。可设计非对称融合结构，让强模态（如商品标题、用户历史）保持自身通路，弱模态仅作为上下文信息辅助，而不是强制相互注意力。
- 对图像、视频等弱模态先做模态感知知识蒸馏，使其在融合前尽可能逼近强模态或教师模型的语义空间，能减少融合时的噪声干扰，提高整体效果。
- 引入路径隔离评估：在融合前后分别测试各单模态内部准确率，快速定位是否发生融合退化，这在推荐模型迭代中可作为调试工具，避免“融合后反而变差”的隐性故障。
- 该思路可用于电商多模态排序、详情页理解等场景：文本描述通常是强模态，图片/视频是弱模态，可让视频/图片特征以文本特征为锚定，而非让文本特征被图像注意机制拉偏。
D3ER：基于解耦与蒸馏动态集成的多模态推荐
🧭 多模态推荐 · 动态集成与知识蒸馏
Institute of Software, Chinese Academy of Sciences · University of Chinese Academy of Sciences
首次将梯度提升引入多模态推荐，交替学习模态同质与异质判别信息，并以知识蒸馏和全局校正正则增强集成
📌 工作参考价值（4 点）
- 多模态商品/内容理解中，显式拆解“跨模态同质判别信息(HOI)”与“模态特有异质判别信息(HEI)”，分别建模再动态集成，可避免单一联合表示的内部冲突，适合电商图文/短视频/标题等多模态商品表征。
- 借鉴 gradient boosting 的交替训练与样本聚焦思路：轮换训练不同专家模型，让各模型专注处理自己擅长的样本（如视觉突出 vs 文本突出），后续以动态 ensemble 融合，提升整体排序效果。
- 多个专家模型上线成本高时，可用 knowledge distillation 把多专家集成知识迁移到单一轻量 student，保留集成增益的同时降低存储/推理开销，适合推荐系统线上 serving。
- global correction regularization 可作为防止交替训练陷入局部最优的通用正则，迁移到其他多任务/多专家训练框架中。
SCoRD：语义辅助的 LLM 推荐检索-重排持续蒸馏
🧭 LLM 检索-重排持续协同蒸馏 ★ 深度解读
Korea University · University of Illinois at Urbana-Champaign · Sungkyunkwan University
提出语义意图助手与三阶段持续蒸馏，让 LLM 重排与轻量检索器在非平稳流中低成本高效协同更新
📌 工作参考价值（5 点）
- 在带 LLM 重排的检索-重排线上，不要对每个新数据块做全量蒸馏：用 retriever 序列内 item 对齐置信度筛选 bottom 20% 的低置信序列做 LLM 蒸馏，能显著降低 LLM 调用和训练成本，同时把增益集中在困难样本上。
- 把 LLM 的语义推理从 free-form generation 改成「动态意图记忆 + 多标签选择」，可复用为商品的 intent/兴趣标签系统；意图向量可以注入 retriever 的序列表征，增强 ID 模型的语义判别力，且推理端几乎没有额外延迟。
- 在 retriever 每日在线更新时，不重新调用 LLM，只聚合行为相似用户序列的意图分数作为 collaborative pseudo-label，能提供稳定语义监督；适合电商/信息流里每天冷启动或新增序列频繁的场景。
- 用相邻周期意图直方图差分识别衰退意图，再从 retriever 候选集里按 intent 后验采样负例，替代随机负采样，可更有效地捕捉用户偏好漂移，适合替代现有召回/排序模型中的负采样策略。
- 新用户无历史行为时，意图级语义先验能明显提升冷启动效果；可在用户冷启动阶段直接用 LLM 打好的 intent 标签作为特征或约束。
超越模仿：基于推理进展的在线蒸馏奖励过滤
🧭 推理蒸馏训练 · 过程奖励过滤 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · Zhejiang University · University of Alberta
提出 R2-OPD，用独立过程奖励检测并过滤在线蒸馏中与推理进展冲突的教师信号
📌 工作参考价值（4 点）
- 业务中若用小模型蒸馏大模型做 query 改写、推荐理由生成或搜索意图理解，不要只对齐教师 token 分布：可引入与业务目标一致的过程信号（如是否推进任务完成、是否命中正确商品），检测并 mask 教师信号冲突的片段，避免学到“像老师但错误”的行为。
- 训练多步 Agent 推理链路（如商品筛选、排序解释）时，用 rollout 估计中间状态 solve probability 并把相邻同向 progress 合并后再评估，能显著降低 Monte Carlo 噪声，比逐 step 使用过程奖励更稳定。
- 工程上 masking 比例和 segment 颗粒度很关键：论文中 q=30% 是甜点，q=50% 会损害性能；业务落地建议先做小比例过滤，并对不确定样本保守回退，避免误删有效教师信号。
- 该方法只在离线蒸馏阶段引入额外 rollout 计算，不影响线上推理时延；成本较高，可只对高价值或难样本启用。
GOD：通过深度嫁接增强序列推荐泛化
🧭 序列推荐知识蒸馏 · 组件级嫁接 ★ 深度解读
Pohang University of Science and Technology
提出组件级知识蒸馏框架GOD，将学生组件嫁接进冻结教师构造混合源模型，强化序列推荐泛化
📌 工作参考价值（4 点）
- 组件级蒸馏替代输出级蒸馏：在电商/广告点击序列建模中，若教师-学生 KD 效果受限，可尝试将学生 embedding 或 encoder 临时插入冻结教师路径，分别得到 Embed-Grafted Teacher 和 Encoder-Grafted Teacher。这样能分离“嵌入不可靠”和“编码器过拟合”两类误差，比仅匹配教师输出更适合稀疏行为数据。
- Transformer 序列模型可用 Grafted Encoding 稳定训练：将教师侧与学生侧 token 拼接，允许互注意力（mask 为四块均 causal），早期教师 token 提供稳定上下文，后期学生 token 细化表示。训练 attention 开销约翻倍，但收敛更快，且不影响线上推理。
- 推理零开销，适合轻量线上模型：混合源模型只在训练阶段使用，线上仍用原始学生模型，不增加额外耗时。对需要低延迟的推荐/广告精排模型是可落地的 KD 增强方案。
- 自适应对比权重技巧可复用：GCL 对六种表示对做对比学习，并用 batch 内平均相似度的 stop-gradient 计算权重，抑制冗余对、强调互补对。该思想可迁移到多视图对比学习、多任务蒸馏中的损失加权。
SimpleOPD：简单与分词器无关的长上下文推理在线策略蒸馏
🧭 On-policy 蒸馏 · 跨 tokenizer 长上下文推理 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
用共享文本空间跨 tokenizer 对齐并加入终止 token 掩码与参考 KL 稳定长上下文推理蒸馏
📌 工作参考价值（4 点）
- 跨模型/跨 tokenizer 蒸馏工程：业务中想把大推理模型蒸馏到小线上模型，不必做人工 token 映射，直接让 teacher 用自己的 tokenizer 读 student 生成的文本，只对齐文本 span 完全相同的 token；实验中 lexical overlap 始终 >90%，大部分监督信号可以保留，适合 Qwen/Llama/GLM/Gemma 等不同家族的在线蒸馏。
- 长链推理蒸馏的稳定性 trick：OPD 直接从长上下文老师搬推理能力，学生容易出现长度爆炸、截断、重复；可以照搬两个简单做法：① 掩盖 </think>、<|im_end|> 等终止/结构 token 的 advantage，不强制学生模仿老师的终止倾向；② 加 student-reference KL，防止策略偏移。Intern-S2 和 Qwen3.5-35B 上能有效把截断率降到接近 0。
- KL 系数是重要的超参：师生差距越大，越需要更强的 reference KL；GLM-4.7 消融显示 0.5 不足、1.2 过度，1.0 最均衡。业务上做蒸馏可以优先按模型家族差异设 0.5/1.0 两档。
- 训练数据聚焦更利于能力迁移：仅用 proof-only 数据蒸馏，目标证明能力提升最大；混入通用可验证数学数据反而削弱 ProofBench 迁移。类比到业务：要蒸馏商品知识、query 改写或策略推理，训练集应保持任务纯净，不要混太多无关任务。
代理记忆蒸馏：分层教师记忆赋能小模型代理
🧭 代理记忆蒸馏 · 分层教师记忆传递 ★ 深度解读
KAIST · DeepAuto.ai
通过工作流、子任务、函数三层记忆将大模型代理的工具使用经验蒸馏到小模型，无需训练，显著提升工具调用成功率
📌 工作参考价值（5 点）
- 分层记忆设计可直接复用到推荐/电商Agent：将大模型（如GPT-5）在复杂多步推荐任务（如“根据用户画像、实时行为、库存状况生成推荐”）中的成功轨迹，提取为任务规划(Workflow)、子任务执行示例(Subtask)（如召回→过滤→排序）和工具调用指南(Function)（如调用推荐API的参数格式、常见错误处理），注入到4B/8B小模型中，在降低线上延迟与成本的同时保持高质量决策。
- 按需纠错的函数记忆（Function Memory）：当小模型调用API出错时，仅在该步按函数名检索成功示例并注入上下文，不增加正常执行时的token开销，适合电商推荐中接口众多、参数复杂的工具调用场景，可显著降低错误恢复重试次数。
- 子任务记忆（Subtask Memory）贡献最大：实验表明，提供具体可执行的API调用序列（代码级示例）比纯文本策略描述更有效，在构建Agent的记忆库时，应优先沉淀高成功率的子任务执行片段，而非仅保存宏观策略。
- 4B规模模型受益最明显：资源受限的线上推荐Agent可优先采用4B量级模型配合AMD，用极低的推理成本达到接近大模型的工具使用能力；对大模型（>8B）效果收窄，可权衡是否部署。
- 训练无关的即插即用方式：无需微调，仅通过提示工程和离线记忆库构建，快速将历史大模型经验迁移到新上线小模型，适合快速迭代的推荐系统上线流程。
Gryphon-v2：用蒸馏统一生成与排序的单模型级联替代方案
🧭 生成式推荐 · Semantic ID · 蒸馏统一级联 ★ 深度解读
Yandex
通过Rollout Distillation将高成本排序教师蒸馏到生成式推荐 Ranking 模块，单一模型替代多阶段级联并获在线收益
📌 工作参考价值（5 点）
- ## 可借鉴点
- 用蒸馏替代强化学习注入精排信号：将高成本但离线可计算的 Teacher Ranker 作为监督信号，通过 MAE 蒸馏到轻量 Ranking Module，避免 RL 的不稳定，适合稳定上线的电商/广告场景。可借鉴 Rollout Distillation：用当前 beam search 生成的候选 + 曝光日志候选双源蒸馏，对齐服务时分布。
- 统一生成与排序的共享编码器架构：用户历史编码一次，既用于 SID 候选生成，也用于 item 级排序，大幅减少推理延迟。在电商推荐中，可复刻此设计：用轻量 cross-attention Ranking Module 对生成候选打分，完全省去独立精排模型。
- 候选预算与 beam 截断策略：生成 SID 候选后通过碰撞类扩展，并用 item 预算（如 1200）截断低分 beam 候选；该机制在保证召回的同时严格控制精排候选集大小，适合在线延迟敏感的业务。
- Teacher Ranker 可按需扩大容量：Teacher 模型可上线级不可用（如 8000 事件长历史），但蒸馏后可用 2048 事件 student 实现 4 倍吞吐，节省 GPU；电商业务可训练一个超大排序模型作为 teacher，蒸馏到线上轻量模块。
推理枢轴引导的在线策略自蒸馏实现多语言推理迁移
🧭 训练策略 · 推理枢轴引导 ★ 深度解读
National Key Laboratory for Novel Software Technology, Nanjing University
通过对比有无英文参考解答的教师分布，定位推理枢轴并引导特权蒸馏，提升多语言数学推理能力
📌 工作参考价值（4 点）
- 关键 token 定位：在序列生成任务（如推荐理由、搜索 query 改写、商品摘要）中，可利用两个视图（有无特权上下文）的分布差异，自动识别影响下游推理/决策的关键 token，不必依赖人工标注。
- 蒸馏权重分配：借鉴 PRS 得分与 RPT 门控，在模型蒸馏时将监督信号集中到“推理枢轴”token（如逻辑连词、状态更新词），避免在表面填充词上浪费容量，提升跨领域迁移效率。
- 语言风格锚定：引入冻结参考策略进行锚定损失，可在多语言推荐或广告文案生成中，既注入外部知识（如英文产品描述）又不破坏目标语言的流畅度，缓解 RL 或蒸馏带来的语言退化。
- 训练稳定性：门控分数来自同一模型的两个视图对比，无需额外教师网络，且运行时统计归一化适应不同训练阶段，可降低工程部署复杂度，适合在线蒸馏场景。
SPOT：在线策略蒸馏的稀疏探测与结果校准
🧭 在线策略蒸馏 · 稀疏探测与结果校准 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen · East China Normal University · Beihang University · City University of Hong Kong
通过稀疏探测关键位置并利用下游结果校准蒸馏目标，在有限预算下提升推理模型多样解覆盖。
📌 工作参考价值（4 点）
- 稀疏探测+结果校准框架：在生成式推荐或对话Agent中，可在模型不确定性高且候选集紧凑的位置进行额外探索，利用下游业务指标（点击、转化）校准局部目标，替代全量教师监督。
- 位置重要性得分：使用公式 s_t = 归一化熵 × top-k概率质量 × 学生-教师gap 的连乘得分，作为触发多路采样的信号，可用于AIGC场景平衡生成质量与多样性。
- 指数倾斜校准：结果校准的封闭解（式10）提供了一种在保持KL约束下依奖励调整概率分布的方法，可应用于离线策略评估或A/B测试中的概率调整。
- 预算可控的工程化设计：探测位置数M、候选数k_p和每条候选续写数N_p均为显式超参数，便于在实践中根据延迟和成本进行权衡，仅对最有希望的候选展开额外推理。
面向 LLM 的高效知识蒸馏：离线 Top-K logit 缓存与融合分块 KL 损失
🧭 训练效率 · 知识蒸馏 · 长上下文 ★ 深度解读
Multiverse Computing
通过缓存教师 Top-K logits 和融合分块 KL 损失，实现单 GPU 上长上下文蒸馏训练，匹配在线质量且内存线性增长。
📌 工作参考价值（4 点）
- 离线蒸馏策略：预教师 Top-K logit 一次缓存后重复用于多轮消融实验，大幅降低资源占用，适合需频繁蒸馏的推荐模型迭代。
- 长上下文训练解锁：融合分块 KL 损失让峰值内存与序列长度成线性关系，可在单卡 H200 上训练 32K 上下文，用于处理电商搜索中长用户行为序列的场景。
- 损失设计经验：logit KL 损失是知识迁移的必需品，追加隐藏状态特征损失（MSE 或余弦）可稳定提升约 1% MMLU。
- 打包训练简化：蒸馏时用朴素的全 1 注意力掩码做序列打包，仅牺牲约 1 个 MMLU 点，工程实现简单且效率高。
SmartGR：面向生成式推荐的层次与束搜索感知知识蒸馏
🧭 生成式推荐 · 层次与束搜索感知蒸馏 ★ 深度解读
Zhejiang University · Ant Group
提出层次感知SID蒸馏与束感知排序蒸馏，解决生成式推荐中蒸馏难度不均衡和束搜索前缀误剪枝问题。
📌 工作参考价值（4 点）
- 层次感知蒸馏权重：不要在所有SID层级上均匀施加蒸馏损失；引入可学习的单调递增权重（如tanh），根据教师在不同深度的增益自动调整蒸馏强度，解决层次间难度不均衡问题。
- 束感知排序损失：仅对齐每步条件分布无法防止前缀误剪枝；使用教师缓存的 beam 结果构造正负 beam 对，让学生直接模仿教师的累积前缀评分偏好，在训练中显式优化束搜索排序。
- 离线缓存 + 最长前缀选择：离线缓存教师 top-k token 分布与 beam 序列，蒸馏时选择与目标 SID 最长公共前缀的 beam 作为监督，避免不相关信号引入噪声；同时保留硬监督损失，维持基础生成能力。
- 即插即用的蒸馏方案：不修改学生模型结构，只增加 SID Loss 和 BEAM Loss 两个损失项，即可将 1.7B 模型性能提升 8.6%，推理速度比 8B 教师模型快 2.39 倍，适合在广告/电商等实时推理要求高的场景直接落地。
ASARL：面向社交搜索的自主多智能体相关性学习框架
🧭 多Agent数据治理与搜索相关性学习 ★ 深度解读
Tencent PCG
通过多智能体协同数据治理与分阶段偏好对齐训练，实现社交搜索相关性理解的自动化与社交感知
📌 工作参考价值（4 点）
- 多智能体数据标注流水线可迁移到电商搜索：ReasonAgent 生成推理标签、CriticAgent 核查一致性、GenAgent 生产长尾样本的闭环，能降低人工标注成本，缓解长尾查询覆盖不足，尤其适合大量非标品的电商搜索场景。
- 分阶段训练策略值得复现：先用领域特化的 Reasoning CoT 做 SFT 注入知识（Social Context Training），再用 DPO 对齐真实点击信号（Preference-Guided Optimization），最后蒸馏到轻量模型（Social Distillation），这套流程可直接用于电商搜索相关性优化。
- 社交属性的结构化建模思路可用：将用户意图与社区/商品属性对齐，形成可解释的推理链，既能改善模型判断准确性，又能输出可读的排序理由，利于搜索诊断和运营。
- 真实在线实验验证了收益：在 QQ 频道和群搜索上，CTR 提升 1.36%~2.69%，Join Rate 提升 1.06%~2.59%，部署达 1200 万 DAU，说明该方法可同时提升点击和深层转化，对电商搜索有直接参考价值。
传递接力棒：轨迹接力的On-Policy蒸馏
🧭 On-policy 蒸馏 · 接力轨迹
Zhejiang University · Yuvion Team, Alibaba Group
通过检测前缀失败并让教师短暂接管生成修正轨迹，将错误前缀转化为有效蒸馏信号，显著提升小模型数学推理性能
📌 工作参考价值（4 点）
- 前缀失败的无标签检测：利用教师和学生预测分布差异（如相同位置token概率差）作为接力触发信号，无需额外标注，可直接用于对话Agent的推理步骤监控，在发现错误倾向时自动引入更强模型纠正。
- 接力蒸馏减轻训练浪费：电商场景中，如果推荐理由生成或查询改写模型产生错误前缀，可用更大模型局部修正后继续，既能保留学生探索，又能提供正确梯度，比全丢弃重采样更高效。
- 接力预算控制成本：限制最大接力步数和干预次数，将修正集中在关键早期位置，平衡干预收益与计算开销，适合在线学习或大规模分布式训练。
- 思路可迁移至多步推理Agent：当Agent进行多步骤决策（如购物决策、多轮对话）时，若某步走错，可让教师模型介入修正后再交还，最终全程轨迹用于优化学生，提升整体成功率。
判别式LLM反击：用双塔模型替代生成式推荐检索
🧭 LLM双塔检索 · 判别式推荐 ★ 深度解读
Meta
将LLM作为共享背板的双塔检索器，配合蒸馏与连续思考，性能匹敌生成式推荐且可规模化部署
📌 工作参考价值（4 点）
- 双塔+LLM的务实路线：放弃生成式检索的Token解码，改用LLM编码器生成用户和物品的向量，通过ANN检索。对于物料量大的电商/广告系统，这种方案更易落地，无需担心Token到物品ID的映射错误和自回归延迟。
- 蒸馏技巧：从Cross-Encoder教师转移动态排序知识：用Cross-Encoder对同一候选集计算更准确的分数分布，然后以KL散度蒸馏到双塔学生。实操中可使用“yes/no”输出头计算logit差作为分数，同时加一个以用户历史为条件的Token预测辅助任务来增强教师，提升蒸馏上限。
- Token级特征压缩与层剪枝：将连续特征用有限标量量化（FSQ）离散化为少量Token，减少输入长度，提升QPS 19.7%；对Transformer进行层剪枝（搜索代理指标评估重要性）再知识迁移，可再提速10%，几乎无损。
- 数据效率与模型时效性：LLM双塔在仅用0.5%训练数据下即可匹敌生产DLRM基线；模型冻结后连续数天性能几乎不降，而传统DLRM因物品ID分布漂移损失严重，该特性可大幅降低重训成本，适合推荐系统频繁更新的场景。
通过多智体协议蒸馏弥合闭源与开源Agent搜索的分布鸿沟
🧭 多智体协议蒸馏 · Agent搜索 ★ 深度解读
University of Chinese Academy of Sciences · Tsinghua University · Peking University · Beijing Institute of Technology
提出结构化JSON协议作为中间表示，将闭源多智体的推理策略蒸馏到开源学生模型，显著缓解风格漂移和幻觉。
📌 工作参考价值（4 点）
- 用结构化协议替代原始文本进行蒸馏：在Agent搜索场景中，直接模仿闭源模型的自然语言轨迹会导致灾难性的风格漂移和幻觉，业务上若想用GPT/Claude蒸馏小模型，务必把推理过程抽象为JSON、流程图等结构化中间表示，剥离语言风格。
- 离线多智体合成高质量训练信号：用多智体系统（编排者+搜索者+修复者+协议者）提前生成高质量推理协议，训练时只复用协议，不增加在线推理开销。这种模式可迁移到电商导购Agent的多轮决策合成：用强模型离线生成“商品推荐-推理-校验”协议，蒸馏到线上轻量模型。
- 在线自蒸馏与RL的联合训练配方：将结构化协议作为特权信息（privileged information）输入教师分支，与学生分支做token级KL对齐，同时叠加GRPO稀疏奖励，λ=0.05附近是甜区。业务中复现类似流水线时，可直接参考该联合损失权重调优经验。
- 跨教师模型的可迁移性：结构化协议对不同闭源教师（Claude/GPT/Gemini）都有效，方差极小，意味着后续替换底层LLM API时无需重新调参，可大幅降低迭代成本。
基于字节前缀边缘化的跨分词器在线策略蒸馏
🧭 跨 tokenizer 蒸馏训练
University of Chinese Academy of Sciences · KwaiKAT Team · Zhejiang University · The Chinese University of Hong Kong
在共享字节空间将教师分布边缘化到学生词汇，无损对齐概率质量，大幅提升跨分词器蒸馏性能
📌 工作参考价值（4 点）
- 若业务中需融合多个使用不同 tokenizer 的文本模型（如商品标题/描述编码器、多语言模型），可借鉴 BPM 将教师分布无损映射到学生词汇，避免丢弃概率或语义错配。
- 字节前缀映射表可离线构建，蒸馏时仅需查表聚合，工程可行；残差类别处理未匹配质量，保证分布完整，可直接移植到自定义蒸馏 loss。
- 对于多模态推荐模型（图文混合 tokenizer 不同），BPM 提供了一种统一概率空间的思路，有助于跨模态知识迁移。
- 在 Agent 工具调用或搜索链路的 LLM 蒸馏中，若教师和学生分词器不一致，BPM 能保留关键 token 的分布结构，减少性能损失。
面向生成式推荐的拓扑感知词元化方法
🧭 生成式推荐 · 拓扑保持词元化
University of Illinois Urbana-Champaign
提出多级蒸馏框架 TopoTok，在量化过程中保留项目拓扑结构，缓解失真，召回率最高提升 9.42%
📌 工作参考价值（4 点）
- 生成式推荐中项目嵌入量化为 token 时常破坏物品间邻近关系，可借鉴 TopoTok 的多级蒸馏框架来训练电商中商品 tokenizer，使相似商品的 token 表征也接近，提升下一项预测准确率。
- 组间/组内/项目间三级蒸馏可逐步恢复粗到细的拓扑，在业务中可对商品进行层次聚类，用预训练商品嵌入通过类似目标微调量化器，维持层级相似性，尤其有益于长尾商品和冷启动。
- TopoTok 作为即插即用的 tokenizer 增强，不需改动现有生成式推荐主干模型，工程改造成本低，可直接串联在 TIGER 等框架中。
- 实验证实 Recall@5 最高有 9.42% 的绝对提升，说明拓扑保持对推荐精度有直接且显著的价值，可迁移到电商的搜索联想、推荐补全、交叉销售等自回归生成场景。
RAMP：掩码对齐路径实现有限个性化特征下的鲁棒广告推荐
🧭 隐私受限 · 蒸馏对齐 ★ 深度解读
University College Dublin · Huawei Ireland Research Center
用双塔输出掩码分离个性/非个性化监督，配合蒸馏对齐路径，在隐私受限下提升 CTR/CVR 预测
📌 工作参考价值（4 点）
- 双塔掩码策略可直接复用：用一个共享嵌入层 + 两个独立塔，输出时依流量类型（个性化/非个性化）掩码，使两塔分别专精不同特征域，减少负迁移。在现有 CTR/CVR 模型中容易嫁接，无需改变输入结构。
- 蒸馏对齐实现“特权特征”训练：训练时利用额外完整特征通路（个性化通路）指导仅用非个性化特征的通路，推理时只用轻量通路。在电商/广告中，可类似地将高权限特征（如用户历史）作为教师，引导受限特征模型，不增加线上耗时。
- 非个性化路径训练即丢弃：对齐模块仅在训练期激活，线上推理只保留已对齐的双塔组件，零额外推理成本。适合在线广告系统对延迟敏感的场景。
- 距离损失权重需细粒度搜索：实验中损失权重与性能呈倒U关系，建议用粗到细网格搜索确定最优值，避免过度对齐拖累主任务。
CADENCE：通过覆盖自适应在策略蒸馏弥合推理差距
🧭 LLM 推理蒸馏 · 在策略蒸馏
用覆盖自适应调度、分叉提升与稠密奖励等六个组件，在单台 Mac 上将 0.5B 学生推理提升 21%+
📌 工作参考价值（4 点）
- DRIFT 与 COVA 的 token 级前向-反向 KL 切换：可迁移到业务小模型蒸馏，避免初期学生概率崩溃；在电商搜索 query 改写或推荐理由生成中，当学生模型输出分布与教师差距大时，可借鉴覆盖自适应的 β 调度，从 reverse-KL 逐步过渡到 forward-KL。
- FTB（分叉 token 提升）：利用高熵 token 位置作为关键“决策点”集中梯度，类似在推荐 Agent 的推理链中，对不确定性高的步骤（如商品属性对比）加强学习信号，提升推理可靠性。
- CCD 稠密奖励与部分正确反馈：将二元对错信号替换为数值相似度部分奖励，适合电商场景中候选商品排序或价格合理性判断等非严格 0/1 任务，可提高训练效率。
- 全在策略、单机可跑：蒸馏全程无需数据中心级别资源，64GB 统一内存的 Mac Studio 即可完成，适合中小团队快速迭代推理模型。
单教师视角增强：利用学生引导扰动改进知识蒸馏
🧭 知识蒸馏 · 视角增强
用学生动态特征引导无参数循环移位生成多样视角，实现单阶段高效知识蒸馏
📌 工作参考价值（4 点）
- 电商/广告推荐模型压缩场景（如CTR、排序模型）中，蒸馏轻量级在线模型时，可直接使用学生模型的动态特征生成多视角监督，提升泛化能力，无需维护多个教师或复杂的训练流程。
- 无参数的循环移位扰动实现零额外参数开销，适合资源敏感型线上推理环境；单阶段训练避免预教师训练，简化工程链路。
- 可借鉴该思路将学生特征作为条件，设计自适应噪声注入（如特征层随机移位、维度重排），生成多样化的虚拟教师视图，替代传统的固定教师输出。
- 方法对模型结构无侵入性，可快速集成到现有的 logit/feature 蒸馏框架中，实验观察可直接迁移至电商领域的同等架构模型。
Mach-Mind-4-Flash：35B MoE模型通过后训练比肩百B级性能
🧭 Agent后训练与强化学习优化 ★ 深度解读
Li Auto Inc.
35B MoE仅3B激活参数，通过多专家RL与MOPD蒸馏融合，在Agent基准上超越10-30倍激活参数的大模型
📌 工作参考价值（4 点）
- 多专家在线蒸馏（MOPD）：为电商搜索推荐中的多目标（如点击率、转化率、多样性）独立训练RL专家，再通过MOPD路由融合到单个轻量模型，避免多目标奖励混合导致的指标跷跷板效应，且新增目标只需注册新教师，零代码侵入。
- 奖励课程设计：在稀疏奖励场景（如长周期转化）借鉴两阶段课程，先用过程奖励（中间行为反馈）冷启动，再切换到最终结果奖励，解决强化学习冷启动困难。
- Token效率优化（HMPO）：对于推荐系统对话Agent或生成式推荐中的过长推理链，可引入基于自适应长度预算的强化学习压缩，在保证推荐质量前提下降低推理成本，实现19-46%的文本压缩且精度损失≤0.7%。
- 环境扩展（EnvScaling）：为Agent训练构建可执行验证的环境池（如文件系统、状态模拟等），可迁移至电商场景，用于模拟用户端到端的操作路径，生成高难度、可验证的决策轨迹，驱动深度搜索或购物Agent的强化学习优化。
面向推荐的师生感知型思维链优化与蒸馏
🧭 生成式推荐 · CoT 蒸馏优化 ★ 深度解读
University of California Riverside · Meta AI
通过学生注意力评分和奖励引导的编辑，压缩推荐推理链中的冗余验证，提升小模型蒸馏效果
📌 工作参考价值（4 点）
- CoT 蒸馏前先压缩冗余验证：大老师在推荐排序中频繁重复检查但极少修改答案（79% 的验证不改变最终排名），直接 SFT 会让小模型学会啰嗦而不修正。可借鉴论文的分段与重要性评分（用学生模型的 </think> 注意力分数）识别并剪枝无用的验证步骤，仅保留信息密集片段。
- 奖励函数确保压缩后对学生友好：采用 logP(answer|edit) - α·Len - β·PPL 选择编辑操作（保留/重写/融合/剪枝），既保证压缩后答案可预测，又避免高困惑度文本破坏小模型的训练稳定性（防止灾难性遗忘）。在业务中蒸馏推荐模型时可复用该公式，自动平衡压缩率与可学习性。
- 避免极端压缩导致的格式崩溃：纯 LLM 摘要压缩虽然大幅缩短长度，但导致 8.74% 的解析失败（如输出不足 k 个候选、重复索引），说明过度压缩会破坏输出格式。工程上应采取逐步编辑策略，保留必要结构。
- SFT 足够时，RL/on‑policy 增益有限：论文在 SFT 模型已接近老师时，尝试了 DAPO 和 OPSD，均未带来稳定提升，提示在生成式推荐场景中，合理处理后训练阶段可能不需要额外 RL 微调，节省计算资源。
基于前缀重放的多轮在线策略蒸馏
🧭 Agent 多轮交互蒸馏 · 前缀重放 ★ 深度解读
Microsoft Research · University of Amsterdam
用教师前缀重放替代环境交互，以步骤衰减平衡学生相关性与教师可靠性，实现加速免工具调用的Agent蒸馏
📌 工作参考价值（4 点）
- 离线环境训练Agent：若业务中存在多轮对话推荐、工具调用Agent（如商品推荐对话、搜索推荐辅助），可用教师模型的历史交互轨迹作为离线重放池，学生只在重放前缀上生成动作，无需实时调用外部API或模拟器，大幅降低训练基建成本。
- 前缀分布控制策略：将多轮蒸馏转化为“有效前缀分布设计”的思路，可迁移到序列生成或对话生成的密度蒸馏，通过在轨迹不同位置施以衰减权重，抑制后期累积误差对监督信号的影响，改善学生模型的长程表现。
- 复用RL训练轨迹：教师进行在线策略强化学习（如GRPO）时产生的轨迹可直接作为蒸馏前缀池，无需额外采集费用，该“免费”数据复用模式可用于业务中已有RL训练管线的场景，提升样本效率。
- 多环境统一蒸馏：若需要训练一个同时处理多个垂直领域（如搜索、推荐、工具调用）的通用Agent，可将各环境的教师轨迹分别收集后合并为一个离线池，从而避免同时部署多个在线环境，降低系统工程复杂度。
DuoMem：双空间蒸馏赋能边端记忆智能体
🧭 智能体记忆蒸馏 · 边端部署
Samsung R&D Institute UK · Queen Mary University of London
通过上下文与参数双空间蒸馏，将大模型过程记忆能力迁移至小模型，4B模型成功率从4.3%升至77.9%，速度提升3倍
📌 工作参考价值（4 点）
- 上下文蒸馏可迁移至对话式推荐：用大模型为历史交互生成优质推理记忆（如用户偏好演化链），将其作为前缀注入小模型，提升多轮推荐一致性。
- 参数蒸馏成本极低：仅用教师成功轨迹微调LoRA，参数增量<10M，可快速适配现有电商或搜索智能体的规划模块。
- 双空间协同效果突出：单独上下文或参数蒸馏效果有限，两者合并产生互补增益；在构建推荐Agent时，可同时注入教师记忆并微调编解码器。
- 边端实时性提升：蒸馏后小模型推理速度大幅提高，适合手机端或低延迟场景下的个性化推荐回复生成。
基于知识的拉取请求：代理中介知识协作的可信工作流
🧭 代理协作中的信任边界与知识传递机制
Fudan University
提出 KPR 工作流，将外部代码视为知识源，由项目内部可信代理重新生成代码，分离知识接纳与实现合并决策
📌 工作参考价值（4 点）
- KPR 的“知识包”抽象可迁移到多智能体推荐系统：外部代理输出的推荐理由、交互轨迹不直接作为最终结果，而是交由内部代理结合业务规则和上下文再次生成，可提升安全性和一致性。
- 分离“意图理解”与“实现生成”的决策模式，可应用于电商搜索 Agent 系统：用户粗浅意图由外部解析为结构化知识，内部受控代理根据知识包和商品图谱生成精准查询或推荐。
- 信任边界设计对多供应商模型协作场景有启发：不同模型生成的推荐候选视为知识源，通过合规性检查门禁后在统一环境下重生成，降低集成风险。
- 主要学术贡献在于软件工程与 Agent 协作流程，业务可借鉴点偏向 Agent 架构模式而非推荐算法细节。
点击到意图：金融推荐中跨平台会话嵌入与LLM意图蒸馏
🧭 跨平台会话嵌入与LLM意图蒸馏 ★ 深度解读
Capital One
自监督Transformer编码多模态点击流生成会话嵌入，并蒸馏LLM意图分类器，提升跨平台推荐与可解释性
📌 工作参考价值（4 点）
- 跨平台预登录信号复用：在电商中可借鉴类似架构，将匿名用户浏览行为（商品查看、停留时间、页面内容）通过自监督Transformer编码为固定维度会话向量，登陆后与已认证用户关联，直接作为召回或排序模型的输入特征，弥补通常被丢弃的预登录意图。
- LLM蒸馏提供可解释意图标签：用聚类采样让LLM迭代生成意图分类体系，再将LLM标注蒸馏为轻量MLP，实现毫秒级意图预测。推荐系统可将蒸馏出的意图标签用于用户分群、冷启动策略（如“正在比较信用卡的用户”），或是作为可解释特征注入排序层，比粗糙的页面计数特征富含更强语义。
- 双输出设计兼顾性能与分析：同一嵌入空间既产出高精度稠密向量用于排序/转化预测，又可蒸馏出人可读的意图标签用于业务分析、归因解释，工程上可复用一个Transformer编码器，在损失极小准确率（7%）的前提下大幅降低推理成本与延迟（3000+倍加速）。
- 无标注自监督预训练：序列预测任务（预测下一页标题或URL）无标注，简单有效，适合利用大规模浏览点击日志进行预训练，后续可微调用于具体业务目标，降低标注依赖。
Moebius：0.2B轻量级图像修复框架，性能比肩10B模型
🧭 图像修复轻量化 · 知识蒸馏
Huazhong University of Science and Technology · VIVO AI Lab
通过新型骨干块与自适应多粒度蒸馏，用2%参数实现超10倍推理加速，修复质量媲美10B级工业模型
📌 工作参考价值（4 点）
- 骨干块中的 Local-λ 和 Interactive-λ 模块将空间与语义信息压缩为固定线性矩阵，大幅减少参数，这种“张量分解”式的特征交互压缩思路可直接用于推荐模型中的 MLP 层或 Attention 层压缩，降低推理成本。
- 自适应多粒度蒸馏策略在潜在空间动态平衡像素、语义等多层级损失，无需解码回像素空间，该方法可迁移到排序模型的知识蒸馏中：在 embedding 或 logits 层直接进行多目标蒸馏，避免昂贵的全图输出，提升效率。
- 将 10B 通用大模型的专业能力蒸馏到 0.2B 任务专用模型，在推荐场景可借鉴为：用大规模通用推荐模型（如 LLM4Rec）蒸馏出针对特定业务（如服饰 Occlusion 预测、商品图补全）的高效小模型，降低延迟。
- 整体框架强调“极致压缩 + 针对性蒸馏”，启发我们在 Agent 工具调用或搜索结果补全等实时性要求高的任务中，构造一个能快速执行的轻量 specialist，而非依赖厚重通用模型。
ZPPO：将教师融入提示而非梯度的近端策略优化
🧭 基于提示的教师引导强化学习训练
NVIDIA
在困难样本上，教师通过构造对比提示替代策略梯度注入，使学生模型摆脱蒸馏与GRPO的局限。
📌 工作参考价值（4 点）
- 难例训练范式：当RL训练的智能体（如对话推荐Agent）在稀疏奖励场景下持续失败时，可将更强模型或模拟器的正确答案作为对比提示注入，而非直接蒸馏logits或修改梯度，避免策略漂移。
- 对比式提示构造：借鉴BCQ和NCQ，将正确与错误响应匿名配对，让学生模型自行判别，可迁移至推荐系统候选列表的对比学习，提升模型对优劣结果的辨识力。
- 动态困难样本重放：采用基于准确率的提示重放缓冲区，让模型反复练习尚未掌握的困难例，直到毕业，有助于解决推荐场景中长尾物品或冷启动样本的训练不足问题。
- 小模型增效：最小学生规模（0.8B）时提升最显著，适合在边缘设备部署的轻量级推荐或意图识别模型，用ZPPO替代传统蒸馏以保持更强泛化能力。
Influcoder：将解码器梯度影响排名蒸馏至编码器以加速数据归因
🧭 数据归因 · 影响函数加速
Centre Inria de l'Université de Lille · CRIStAL · Université de Lille
通过将解码器梯度影响排名蒸馏为编码器直接输出，实现大规模数据归因的快速近似。
📌 工作参考价值（3 点）
- 大规模数据排查加速：在推荐/Agent 模型出现异常行为（如偏见、违规输出）时，需快速定位有害训练样本。Influcoder 用轻量编码器替代逐样本梯度计算，可在电商场景中用于快速检索“中毒”样本，大幅缩短排查周期。
- 训练数据在线过滤：若已有标注的好/坏样本集，可参照 Influcoder 的排名蒸馏思想，训练一个小型影响评分模型，实时判断新采集的日志样本是否值得加入训练，避免离线全量重算影响函数。
- 蒸馏目标的迁移：方法中的 pairwise 排名损失（使编码器输出排序与真实影响排序一致）可借鉴到其他需要“排序替代计算”的场景，例如召回阶段对候选 item 的重要性排序、特征选择或数据增强样本的优先级评估。
基于LLM的实时用户兴趣画像生成用于大规模视频推荐
🧭 LLM实时用户理解与兴趣探索 ★ 深度解读
Google Deepmind · Google
用知识蒸馏与异步推理实现在线LLM生成自然语言用户兴趣画像，平衡利用与探索，显著提升观看价值
📌 工作参考价值（5 点）
- 用户行为结构化输入：用语义聚类（salient terms）将离散观看记录聚合成主题簇，作为LLM的输入，比原始序列或ID更精准；电商场景可借鉴，将用户点击/购买序列用商品title或类目聚类，提升用户画像粒度。
- 大模型蒸馏小模型部署：通过多步推理工作流让大模型（Gemini Pro）生成高质量训练数据（总结+探索），蒸馏为小模型（Nano/Flash）完成在线推理，平衡成本与效果；这种“大模型做老师”的模式可复用于线上需要实时生成文本的任务。
- 异步推理与缓存架构：将LLM推理与用户请求解耦，仅在画像过期或缺失时异步生成，避免实时延迟，并可配置更新频率；电商推送或推荐场景中，可异步生成用户兴趣标签、文案，不影响主链路响应。
- 探索兴趣的随机采样与受限检索：每个请求中随机采样一条总结兴趣和一条探索兴趣，强制均匀探索，对抗排序模型的流行度偏差；这一机制可直接用于推荐系统的多样性注入，尤其适合解决探索-利用的平衡问题。
- 探索兴趣高转化但曝光不足的启示：实验显示探索兴趣曝光量少但转化率高13.6%，暗示下游排序模型存在“安全”偏好；可在排序阶段为探索内容设置加权或保量策略，放大LLM生成内容的收益。
MatchLM2Lite：可扩展的MLLM到轻量模型框架，用于复制内容识别
🧭 多模态内容去重 · 蒸馏
TikTok · National University of Singapore
将多模态大模型蒸馏为小模型，实现实时视频对复制检测，F1提升+8.57/+6.55，计算成本降35倍
📌 工作参考价值（4 点）
- Teacher-Student蒸馏架构：可借鉴到电商视频/直播去重——用大模型打标或提供软标签，训练轻量模型在线推理，兼顾精度与效率。
- 多模态融合方案：联合视频、音频、文本信号进行配对打分，适用于识别电商短视频、直播间切片复制，减少低质内容分发。
- 工程化指标：35倍计算成本下降、延迟<30秒、支持高QPS，证明蒸馏模型可在推荐链路中承担实时过滤任务，不影响用户体验。
- 线上业务验证：在保持用户参与度不变的前提下，使重复观看率降低2.5%，直接提升推荐列表多样性，可作为去重系统的效果度量。
不变梯度对齐的鲁棒推理蒸馏
🧭 鲁棒知识蒸馏 · 不变学习
University of Oxford · FLock.io
通过逻辑同构集和连续梯度冲突掩码对齐梯度，提升小模型链式推理的 OOD 泛化性
📌 工作参考价值（4 点）
- 蒸馏推理模型时，构造跨域逻辑同构数据可显著减少表面捷径学习，对需要跨品类解释的推荐系统 CoT 蒸馏有直接借鉴。
- 连续梯度冲突掩码（M=exp(-τ·V)）可抑制任务特定维度，保留跨任务不变梯度，适用于多任务推荐模型（如同时优化点击、转化、停留）中避免负迁移。
- 将掩码梯度通过截断 SVD 投影回 LoRA 子空间，不引入额外推理参数，适合在参数高效的推荐召回或排序模型微调中部署。
- 逻辑一致性得分可作为评估指标，用于检测推荐解释或 Agent 推理的 OOD 稳定性，促进生产级可靠性。
从视频中学习几何表示赋予多模态大模型空间智能
🧭 多模态大模型空间推理 · 视频几何表示
University of California, Davis
GeoVR框架通过2D视频蒸馏3D几何知识，重塑MLLM内部表示以增强空间感知
📌 工作参考价值（4 点）
- 利用预训练3D模型蒸馏，无需3D数据：对于电商中的3D商品展示、虚拟试穿等场景，可借鉴GeoVR的蒸馏范式，通过现有3D模型（如DUSt3R）从商品视频中提取几何知识，注入2D视觉模型，避免昂贵3D标注。
- 多目标几何约束增强空间一致性：四个互补目标（相机位姿、深度图、公制尺度、多尺度特征对齐）可迁移到物品视频理解任务，例如从商品旋转视频中联合优化，提升尺寸估算、空间关系推理的可靠性。
- 解耦微调策略，低成本提升现有模型：GeoVR仅微调视觉编码器，冻结LLM，这种做法可复用到推荐系统的视频理解组件中，在不大幅增加训练成本的前提下增强物品的空间表示。
- 为虚实融合场景提供基础：在AR购物、虚拟空间布局推荐等Agent任务中，空间智能是核心瓶颈，GeoVR的表示重组思路启发我们如何从大量2D交互视频中学习稳定的几何先验。
双流 MLP：CTR 预测的极简高效方案
🧭 CTR 预测 · 特征交互 · 知识蒸馏
Gaoling School of Artificial Intelligence, Renmin University of China · ByteDance · Meituan
用知识蒸馏将显式特征交互能力压缩至主 MLP，辅以并行隐式 MLP 并通过双重对齐训练，达到 SOTA 且部署简单。
📌 工作参考价值（4 点）
- 轻量部署：线上推理只使用一个简单 MLP，但知识蒸馏可以把复杂显式交互模型（如 DCN、xDeepFM）的能力注入其中，适合大规模推荐系统对延迟敏感的场景。
- 双流互补设计：保留一个并行的隐式交互 MLP 作为辅助训练分支，缓解显式模块可能过拟合或主导预测的问题，训练后丢弃，不影响推理成本。
- 特征与 logit 双重对齐：引入隐式/显式特征表示对齐损失和最终预测 logit 对齐损失，有效平衡两个分支，防止辅助分支退化或主分支被干扰，该对齐策略可迁移到多路模型融合。
- 即插即用的蒸馏范式：DS-MLP 可作为通用 CTR 模型的压缩框架，将任意复杂 teacher 的交互知识迁移到极简 MLP，适合在电商广告、推荐系统中进行模型轻量化。
提升对话搜索中LLM知识蒸馏的效率与效果
🧭 对话搜索 · LLM知识蒸馏 · 稀疏检索效率优化 ★ 深度解读
University of Amsterdam
通过引入加权对比损失、优化负采样策略和强正则化，在稀疏检索中平衡效果与推理效率
📌 工作参考价值（4 点）
- 蒸馏损失中加入小权重对比项：在电商搜索的 query 重写或对话式推荐场景，若使用 KL 散度蒸馏（如 DiSCo），可混入 5%-20% 的 InfoNCE 损失，不增加推理开销，就能稳定提升 MRR 和 nDCG—直接替换损失函数即可。
- 负采样数量需要谨慎选择：虽然理论上更多负样本能逼近真实 KL 期望，但在做检索相似度蒸馏时，正样本容易被大量负样本“淹没”，造成梯度分散。实验表明 16 个负样本是平衡点（TopiOCQA 上），这一结论可迁移到商品搜索的稀疏蒸馏中，避免盲目增加 batch 内负例。
- 利用 KL 蒸馏的松弛特性做强力稀疏正则化：KL 损失对表示空间的约束比 MSE 更松，因此可以加大 L1 或 FLOPS 正则化强度，将推理 FLOPS 降低 50% 以上，而召回率下跌 <2%。这对有延迟要求的电商搜索尤为实用，可快速压缩稀疏索引模型。
- 长会话中特别注意稀疏退化并提供解决方案：对话轮次增加会导致激活维度急剧膨胀（L0 分数恶化），强力正则化能有效抑制这一趋势，使长对话仍保持高度稀疏，适合部署在客服 Agent 或多轮对话推荐等场景。
BAHSD：通过自适应蒸馏弥合黑盒序列推荐中的长尾差距
🧭 黑盒蒸馏 · 序列推荐长尾优化
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Beijing Institute for General Artificial Intelligence
提出自适应蒸馏框架 BAHSD，用多尺度一致性探测与层次化目标缓解黑盒序列推荐中长尾信号异质性问题，尾部用户提升超 80%
📌 工作参考价值（4 点）
- 若业务需从黑盒推荐 API 蒸馏学生模型，可借鉴自适应信号处理：用多尺度一致性隐式量化 teacher 预测的可靠性，再分治高低置信度样本。
- 对头部用户易出现的偏好固化问题，采用动态温度 KL 散度平滑 teacher 分布，避免学生过度拟合局部模式，可迁移到召回/排序模型的蒸馏训练。
- 对尾部用户交互稀疏、信号嘈杂的场景，引入排序一致性损失和 InfoNCE 对比学习，可提升学生模型的泛化性与噪声鲁棒性，适合电商长尾商品/冷启用户建模。
- 该框架为即插即用方案，可在不改变基座模型结构的情况下以多层损失注入，工程实现成本较低，适合快速验证。
信任区域在线策略蒸馏
🧭 在线策略蒸馏稳定化训练 ★ 深度解读
Samsung Research, Beijing, China · University of Oxford · Peking University
通过信任区域划分、异常值前向KL估计和离线指导，解决在线策略蒸馏中分布不匹配导致的训练不稳定问题，显著提升小推理模型性能。
📌 工作参考价值（5 点）
- 面向电商/推荐/Agent 从业者的可借鉴点：
- 信任区域思想可迁移至多智体策略更新：仅在教师与学生策略一致性高的区域执行在线策略蒸馏，避免极端策略梯度导致的训练崩溃，类似推荐系统中用置信度过滤不可靠的在线信号。
- 离线指导（Off-Policy Guidance）机制可借鉴：用教师前缀引导学生生成，并用前向KL模仿学习，适合在推荐对话或Agent任务中利用高质量模板引导小模型探索有效路径。
- 异常值前向KL估计提供了一种廉价的信息保留方式：当教师-学生分布严重不匹配时，用top-k前向KL替代完全丢弃或裁剪，可在电商搜索query改写等场景中保留多样性信号。
- 混合目标设计与资源权衡：TrOPD同时使用K1估计器（O(n)内存）和top-k前向KL（O(nk)内存），为生成式推荐中的长序列推理蒸馏提供了内存可控的参考，尤其在序列推荐或文案生成等需要长输出的场景下。
COLLEAGUE.SKILL：从人类痕迹自动蒸馏出可检查、可纠正的Agent技能包
🧭 Agent 技能自动化生成 · 专家知识蒸馏 ★ 深度解读
Shanghai Artificial Intelligence Laboratory
提出双轨蒸馏流水线，将人类工作痕迹和交互证据转化为可移植、可检查、可版本管理的Agent技能制品
📌 工作参考价值（4 点）
- 电商场景下，可将资深运营/选品专家的聊天记录、设计文档、审核备注蒸馏为Agent技能包，封装如商品筛选规则、风控阈值、沟通话术模板，实现专家知识的可复用与跨团队传递。
- 双轨设计分离“能力”与“行为”，能力轨道存放业务规则、决策启发式，行为轨道约束交互风格与边界；在推荐Agent中可分别调控推荐策略与推荐理由的生成语气，避免能力与人格混淆。
- 基于自然语言的修正和版本回滚机制：Agent上线后，业务人员用“这里不该推荐此类商品”等反馈直接修正技能包，系统自动归档旧版本并生成新版本，便于审计和快速实验。
- 本地优先的治理与安装器：技能包可作为本地文件管理、删除和分发，支持主流Agent主机（Claude Code、Codex等），适合企业内部敏感知识的受控使用；画廊模式可构建内部技能市场。
LoopFM：基于基础模型历史表征的推荐知识迁移
🧭 知识蒸馏优化 · 历史表示结构化 ★ 深度解读
Meta AI
将大模型历史中间层嵌入压缩并序列化为小模型输入特征，打破标量知识蒸馏的带宽瓶颈。
📌 工作参考价值（4 点）
- 离线生成用户侧序列特征：将大模型已产生的历史交互 embedding 按键（如 user ID）压缩成时间序列，作为 lightweight 模型的直接输入，无需实时推理大模型，显著降低在线延迟。
- 正交填充知识缺口：LoopFM 序列提供跨域、跨特征交互信息，与标量 KD 互补；在线上可并行部署两条迁移通道，提升整体迁移率（内部实验迁移率翻倍）。
- 以压缩控制成本，以结构保留时序信号：用自动编码器 + Matryoshka 维度灵活 + INT4 量化，可实现 4× 存储压缩；序列化方式比简单池化更好（DMIN attention 优于 mean-pool），但 sum-pool 也能捕获大部分增益，可按成本选择。
- 容量差距越大收益越高：小模型直接学高基数 ID 序列效果差，而 LoopFM 提供的低维、信息浓缩表示使小模型直接受益，这适合电商推荐中的重模型-轻模型架构。
Rec-Distill：面向工业推荐的大规模模型蒸馏框架
🧭 推荐系统 · 知识蒸馏 · 大规模模型压缩 ★ 深度解读
ByteDance AML · ByteDance
解耦式蒸馏框架将大模型（24B参数、20K序列）知识高效迁移至轻量线上模型，迁移率超60%并取得商业收益
📌 工作参考价值（4 点）
- 解耦式蒸馏推进大模型复用：教师与学生对训练完全解耦，教师持续流式更新并缓存logits，学生异步消费。可参考此“1-to-N”范式，一个大教师同时服务多个小模型（如召回、粗排、精排），显著降低训练成本，实现线上模型不限制实验规模。
- 黑盒蒸馏+loss缩放：使用教师输出logits的交叉熵损失，简单有效，且观察到蒸馏损失尺度比主任务损失小两个数量级时效果差，需通过调大系数α对齐量级。实际部署时可直接采用CE蒸馏，并手动调大α。
- 去偏机制解决样本分布不匹配：教师和学生训练数据采样策略不同导致logits偏差，通过将教师logits用学生侧去偏公式重校正（𝑇2′=𝑓𝑆(𝑇1)），再与学生去偏logits蒸馏，可提点0.1%。电商场景普遍存在采样偏差，该方法可复用。
- 混合批-流式管道保证实时性：批训练阶段用大量数据快速收敛，流式阶段从高速存储读取教师最新logits追加到学生流数据，实现分钟级延迟适应数据分布变化，避免线上掉点。适合实时推荐系统的高频更新需求。
策略蒸馏中的令牌可教性：并非所有分歧都可学习
🧭 LLM 训练 · 策略蒸馏令牌选择优化
The Hong Kong Polytechnic University · InfiX.ai
提出令牌可教性区分可学习与不可兼容的分歧，TA-OPD 仅保留 5% 高可教性令牌蒸馏即可超越全令牌训练
📌 工作参考价值（4 点）
- 蒸馏效率与效果提升：当在电商场景中蒸馏LLM用于商品描述、推荐理由或Agent对话时，可借鉴TA-OPD仅对“可教性”高的token位置施加蒸馏，避免低效甚至有害的监督信号，实验仅用5%令牌即超越全令牌蒸馏，显著节省计算。
- 无需额外模型：TA-OPD仅利用教师和学生logits计算局部兼容性，无需奖励模型或验证器，易于集成到现有蒸馏流程（如生成式推荐中的语义ID生成器蒸馏）。
- 信号质量重新审视：揭示了原始KL散度作为学习价值代理的缺陷，提示在设计蒸馏损失时，应优先关注教师分布与学生top-K候选重叠高的token，而非简单加权高分歧位置，这对多智能体策略迁移中避免灾难性遗忘有参考价值。
- 算法轻量化：可教性计算简单，能在训练时动态筛选token，为推荐系统或Agent中频繁更新的小模型提供了一种低成本、高性能的在线蒸馏策略。
HARNESS-LM: 赞助搜索检索下SLM的三阶段训练配方
🧭 赞助搜索检索 · 知识蒸馏与模型压缩 ★ 深度解读
Microsoft AI India
通过教师训练、ℓ2对齐和对比细化，将大检索模型能力迁移到轻量级在线查询编码器，并实现27×延迟降低与线上收益提升。
📌 工作参考价值（4 点）
- 三阶段解耦训练范式：广告检索或推荐召回场景可先训练一个不受延迟约束的强教师（大模型、多模态特征或LLM增强特征），再用ℓ2回归将轻量级查询塔对齐到教师查询空间，最后用业务数据对比微调，获得接近教师精度且满足在线延迟的模型。
- ℓ2对齐简单有效：无需标注数据，利用大量无监督查询日志即可将大模型的几何结构迁移到小模型，避免复杂的对比蒸馏损失或核对齐，在电商搜索、推荐序列等海量无标签语料上极易落地。
- 逐步剪枝再对齐：借鉴Ministral 3的级联压缩思路，逐层/逐FFN维度剪枝后重新对齐，可系统探索延迟-质量帕累托前沿；如从28层剪至4层仅损失1.1%精度，获得6×延迟缩减，适合需要多档位部署（如GPU/CPU）的业务场景。
- 对比细化恢复剪枝损失：冻结教师文档编码器后，用业务正负样本单独微调查询编码器，能有效弥补因压缩引起的精度下降（剪枝4层模型提升2.7 P@100），可作为快速迭代的轻量适配手段。
通过协作逐步多教师解码蒸馏长链推理
🧭 长链推理蒸馏 · 多教师协作解码 ★ 深度解读
KAIST · UNIST
提出CoRD框架，通过逐步多教师协作解码和预测困惑度指导，高效生成高质量长链推理数据，显著提升学生模型性能。
📌 工作参考价值（4 点）
- 逐步多教师协作生成数据：让多个异构模型按步骤共同构建推理链，用预测性指标动态选择最优步骤，避免后验选择完整响应的浪费，可用于生成高质量的训练数据，如商品推荐解释或Agent决策推理。
- 预测困惑度作为步骤质量信号：利用元模型计算当前前缀下正确答案的概率来评估中间步骤，无需额外训练奖励模型，轻量且有效，适用于长序列生成中的中间步骤评估。
- 束搜索保持多样性：用多个并行轨迹保留有潜力的推理分支，防止过早贪婪选择，允许自我纠正和策略转换，在多智体交互中可保留多个方案，提升最终结果质量。
- 步骤分割一致性：通过提示工程（如“### Step”）强制不同模型输出结构统一的步骤，便于跨模型比较和组合，可迁移到生成式推荐中需要多模型协作生成推荐理由的场景。